Когда статика встречается с движением
Замена лица на фото — задача почти решённая. Но стоит перейти к видео, как всё рассыпается: дёргается картинка, плывут черты, в каждом кадре другое лицо. DreamID-V разбирается именно с этой проблемой — технология заточена под видеопоследовательности, где нужно сохранить и схожесть с исходным лицом, и плавность между кадрами.
Проект от ByteDance использует диффузионный трансформер — архитектуру, которая учитывает связь между соседними фрагментами видео. Это позволяет не обрабатывать каждый кадр отдельно, а сразу работать с потоком, учитывая движение головы, мимику, освещение.
Как работает замена лиц в видео
Система анализирует исходное видео и целевое лицо, затем встраивает новые черты с учётом ракурса, теней и динамики сцены. Трансформер отслеживает временные зависимости — если человек поворачивает голову или моргает, алгоритм подстраивает замену так, чтобы она выглядела естественно на протяжении всей последовательности.
Особенность в том, что модель справляется даже со сложными условиями съёмки: резкие движения, перепады света, частичное перекрытие лица. В таких сценах классические методы часто ломаются, а здесь результат остаётся стабильным.
GitHub и открытый доступ
Код выложен на GitHub, можно развернуть локально и экспериментировать с собственными данными. Это исследовательский проект, поэтому готового интерфейса с кнопками нет — нужно работать через командную строку и настраивать окружение вручную. Зато есть полный контроль над параметрами и возможность модифицировать архитектуру под конкретные задачи.
Технология показывает, как можно решать задачу временной согласованности в видео без костылей вроде постобработки каждого кадра отдельно. Подход актуален для тех, кто занимается визуальными эффектами, исследованиями в области компьютерного зрения или просто хочет разобраться, как устроены современные методы face swap на уровне архитектуры.
Блог