WildActor

WildActor - это фреймворк для генерации видео с людьми, который умеет сохранять идентичность персонажа при любых ракурсах камеры и движениях. Проще говоря, он создает видео с цифровыми актерами, которые выглядят одинаково с головы до ног, независимо от того, снимаешь ты их спереди, сбоку или с любой другой точки.

Главная фишка - механизм Asymmetric Identity-Preserving Attention в связке со стратегией Viewpoint-Adaptive Monte Carlo Sampling. Это позволяет избежать типичных проблем: когда лицо сохраняется нормально, а тело превращается в кашу, или когда персонаж выглядит как вырезанная и приклеенная картинка из-за жесткой фиксации позы.

В основе WildActor лежит датасет Actor-18M - 1,6 миллиона видео с 18 миллионами изображений людей. Датасет охватывает произвольные ракурсы и канонические трехракурсные представления, что дает модели понимание, как человек должен выглядеть с разных сторон в разных условиях.

Проект находится на GitHub, но пока в режиме анонса: код и веса модели обещают выложить после релиза базовой версии. Есть научная статья на arXiv, где авторы рассказывают про архитектуру и тестирование на Actor-Bench - бенчмарке для оценки сохранения идентичности в сложных сценариях со сменой ракурсов и активными движениями.