ID-V2V — исследовательский проект от Netflix и Eyeline Labs, код которого выложен на GitHub. Он принимает на вход исходное видео и один стилизованный кадр — и соберёт новое видео, где сцена, свет и стиль подчиняются этому кадру, но лицо, мимика, взгляд и движения актёра остаются в точности такими, как были сняты. Это код для запуска у себя на машине, а не онлайн-сервис: официальная реализация статьи, принятой на SIGGRAPH Asia 2026, и авторы прямо называют её демонстрацией идеи, а не готовым продуктом.
Логика работы такая: сначала снимаешь, потом решаешь, как это будет выглядеть. Первый кадр ты стилизуешь любым редактором изображений — хоть NanoBanana, хоть чем угодно ещё. Дальше модель распространит найденный образ на всё видео, опираясь на контрольный сигнал, снятый с исходника: человека вырежет SAM3, фон уйдёт в серый. Если одного якоря мало, можно докинуть дополнительные ключевые кадры — файл с именем 40.png закрепит кадр с индексом 40, 80.png — с индексом 80.
Вся работа сводится к двум шагам: препроцессинг, который вытаскивает маску и контрольное видео, и генерация на 720p. Длина исходника не ограничена — модель нарежет его на перекрывающиеся клипы по 81 кадру и склеит обратно, отдельного режима для длинных видео нет. Входные данные складываются в одну папку: source.mp4, стилизованный первый кадр, текстовый промпт и по желанию папка с ключевыми кадрами.
В репозитории разобраны пять сценариев, и под каждый есть готовый скрипт плюс тестовый сэмпл, который заодно работает шаблоном для своих файлов:
- рестилизация — полная смена облика сцены по первому кадру;
- работа с неидеальным ключевым кадром, когда стилизация вышла кривовато;
- длинное видео — генерация клип за клипом;
- несколько ключевых кадров для контроля по всей длине;
- релайтинг — единственный случай, где препроцессинг не нужен вообще.
Отдельно стоит отметить flip_test.mp4 — файл, который проигрывает результат и периодически замирает, переключаясь между сгенерированным и исходным кадром. Быстрая проверка на глаз, не поехало ли лицо. Рядом сохраняются генерации каждого клипа, контрольный сигнал и версия «результат и оригинал бок о бок».
По требованиям всё серьёзно. Python 3.10, torch 2.6 с CUDA 11.8, flash-attn, xfuser; тестировали на 8× A100-80GB. Чекпоинты вместе с T5, VAE, токенизатором и CLIP от Wan2.1 плюс SAM3 весят около 96 ГБ, а SAM3 закрыт гейтом на Hugging Face — понадобится токен. Мульти-GPU включается сам, если перечислить несколько устройств через запятую, но запустить можно и на одной карте с выгрузкой на CPU — медленнее, зато влезет. Есть две вариации модели: базовая idv2v и версия с дополнительными нормалями и глубиной. Окружение ставится одной командой через uv, лицензия и раскладка репозитория — на странице проекта.
Блог