SCAIL-2

SCAIL-2 — это открытая реализация модели для анимации персонажей, которая пытается решить проблему, о которую споткнулись предыдущие подходы: слишком сильная зависимость от промежуточных представлений позы.

Скелетные карты, маски inpainting — всё это костыли, которые работают в простых сценариях, но ломаются на сложных движениях, нестандартных персонажах или когда нужно заменить одного героя другим. SCAIL-2 предлагает иной путь — end-to-end подход с in-context conditioning, который позволяет модели учиться напрямую из пар движений, без посредников в виде скелетных рендеров.

На практике это даёт несколько неожиданных результатов. Модель поддерживает замену персонажей через cross-identity replacement, умеет работать с животными в качестве источника движения (чего скелетный подход физически не мог), а также обрабатывает mesh-рендеры от SAM3D-Body в zero-shot режиме — без дополнительного обучения под этот формат.

Важная деталь архитектуры — Unified Motion Transfer Interface с двумя типами masking-каналов и специальным RoPE-дизайном. Маски здесь не опциональны: они несут смысловую нагрузку. Чёрный канал говорит модели, что фон в этом месте не должен просвечивать, белый — что должен, цветовой — кодирует соответствие между областями персонажа и движением из driving-видео. Убрать маски значит потерять качество анимации и получить деградацию на сложных движениях.

Для улучшения деталей авторы ввели механизм Bias-Aware DPO — способ учесть систематические смещения pose-driven генераторов как «предпочтения» и скорректировать их через обучение с подкреплением на основе обратной связи. DPO LoRA доступна отдельно на HuggingFace.

Запуск строится вокруг четырёх входных файлов: изображение референсного персонажа, его foreground-маска, driving-видео и покадровая маска для него. Препроцессинг вынесен в субмодуль SCAIL-Pose, который берёт на себя извлечение позы, рендеринг скелета и генерацию масок — как для режима анимации, так и для замены персонажей. Модель обучена на смешанных разрешениях и частотах кадров, end-to-end режим работает на 512p и 704p, pose-driven лучше проявляет себя на 704p.