CodeFormer

CodeFormer — открытый проект для устойчивого слепого восстановления лиц на основе Codebook Lookup Transformer, представленный на NeurIPS 2022. Он помогает улучшать старые фотографии и исправлять изображения, созданные ИИ, а также подходит исследователям для сравнения методов восстановления лиц. Работает с изображениями и видео, а предобученные модели можно скачать вручную или скриптом.

• Восстановление лиц на обрезанных и выровненных изображениях 512×512.
• Улучшение целого изображения с дополнительным апскейлом фона и лица через Real-ESRGAN.
• Обработка видео в форматах .mp4, .mov и .avi.
• Колоризация чёрно-белых фото и инпейнтинг для обрезанных лиц.
• Настройка баланса между качеством и верностью исходному лицу параметром w от 0 до 1.
• Детекция лиц через dlib для более точной идентичности.

Для обрезанных и выровненных лиц размером 512×512 доступны колоризация и инпейнтинг, при этом маска для инпейнтинга наносится белой кистью в графическом редакторе. Целое изображение можно улучшать с флагом --bg_upsampler realesrgan, а восстановленное лицо дополнительно увеличивать через --face_upsample. Вес верности w задаётся от 0 до 1: меньший w обычно даёт более высокое визуальное качество, больший w — более высокую верность исходному лицу.

Видео обрабатывается, если путь заканчивается на .mp4, .mov или .avi, но пользователям Windows и Mac сначала нужно установить ffmpeg. В качестве детектора лиц можно использовать dlib, который по описанию даёт более точную идентичность лица, а для обрезки и выравнивания лиц есть отдельный скрипт. Результаты инференса сохраняются в папку results, а предобученные модели facelib, dlib и CodeFormer можно скачать вручную или скриптом в папки weights/facelib и weights/CodeFormer.

Проект распространяется по лицензии NTU S-Lab License 1.0, дальнейшее распространение и использование должны соответствовать этой лицензии. Официальные онлайн-демо размещены на Hugging Face, Replicate и OpenXLab, остальные демо, API и интеграции — сторонние и не связаны с авторами. Заявлены интеграции в Stable Diffusion GUI, Stable Diffusion WebUI, ChaiNNer и ComfyUI, а также пакеты Python на PyPI: codeformer и codeformer-pip, но это сторонние интеграции, не официальные развёртывания авторов.

Для справедливого сравнения в статье нужно запускать режим уже обрезанных и выровненных лиц, потому что обработка целого изображения включает слияние лица с фоном, которое может повредить текстуру волос на границе. Зависимости включают PyTorch не ниже 1.7.1, CUDA не ниже 10.1 и пакеты из requirements.txt, а dlib устанавливается отдельно и нужен только для детекции или обрезки.