MultiShotMaster

MultiShotMaster - это фреймворк для создания многокадровых видео с детальным контролем над каждым элементом. В отличие от обычных генераторов, которые выдают одиночные клипы, этот инструмент умеет собирать полноценные видео из нескольких сцен, сохраняя связность сюжета и позволяя гибко управлять переходами между кадрами.

Фреймворк построен на двух ключевых механизмах. Первый - Multi-Shot Narrative RoPE - отвечает за плавные переходы между сценами и сохранение временной последовательности. Второй - Spatiotemporal Position-Aware RoPE - позволяет привязывать референсные изображения и управляющие сигналы к конкретным местам и моментам в видео. Это даёт возможность не просто генерировать ролик по тексту, а точечно контролировать, где и когда появляется нужный объект или фон.

MultiShotMaster работает с текстовыми описаниями на уровне всего видео и отдельных кадров. Можно задать количество сцен, их длительность, добавить кастомные объекты с управлением движением или использовать фоновые изображения для формирования сцены. Всё это настраивается через иерархическую структуру текстовых подсказок и разреженные последовательности ограничивающих рамок.

Для обучения создан автоматизированный пайплайн, который нарезает длинные видео на клипы, группирует их по сценам, генерирует описания через Gemini-2.5, отслеживает объекты с помощью YOLOv11, ByteTrack и SAM, а также очищает фоны через OmniEraser. Результат - фреймворк, который понимает структуру многокадрового видео и умеет управлять каждым его элементом.