DreamID-V

Когда статика встречается с движением

Замена лица на фото - задача почти решённая. Но стоит перейти к видео, как всё рассыпается: дёргается картинка, плывут черты, в каждом кадре другое лицо. DreamID-V разбирается именно с этой проблемой - технология заточена под видеопоследовательности, где нужно сохранить и схожесть с исходным лицом, и плавность между кадрами.

Проект от ByteDance использует диффузионный трансформер - архитектуру, которая учитывает связь между соседними фрагментами видео. Это позволяет не обрабатывать каждый кадр отдельно, а сразу работать с потоком, учитывая движение головы, мимику, освещение.

Как работает замена лиц в видео

Система анализирует исходное видео и целевое лицо, затем встраивает новые черты с учётом ракурса, теней и динамики сцены. Трансформер отслеживает временные зависимости - если человек поворачивает голову или моргает, алгоритм подстраивает замену так, чтобы она выглядела естественно на протяжении всей последовательности.

Особенность в том, что модель справляется даже со сложными условиями съёмки: резкие движения, перепады света, частичное перекрытие лица. В таких сценах классические методы часто ломаются, а здесь результат остаётся стабильным.

GitHub и открытый доступ

Код выложен на GitHub, можно развернуть локально и экспериментировать с собственными данными. Это исследовательский проект, поэтому готового интерфейса с кнопками нет - нужно работать через командную строку и настраивать окружение вручную. Зато есть полный контроль над параметрами и возможность модифицировать архитектуру под конкретные задачи.

Технология показывает, как можно решать задачу временной согласованности в видео без костылей вроде постобработки каждого кадра отдельно. Подход актуален для тех, кто занимается визуальными эффектами, исследованиями в области компьютерного зрения или просто хочет разобраться, как устроены современные методы face swap на уровне архитектуры.