Vimoo

Vimoo 1.0 — семейство моделей генерации видео по тексту и изображению на базе dual-stream MMDiT. Репозиторий предоставляет примеры инференса на Python, а онлайн-API охватывает сценарии text-to-video, image-to-video и e-commerce. Полная система состоит из трёх модулей: Vimoo-PE уточняет мультимодальные инструкции, Vimoo-Base генерирует видео 720p, Vimoo-Enhancer повышает результат до 1080p с исправлением дефектов внешности и движения.

API-сценарий Vimoo-1.0 Text-to-Video превращает текстовые описания сцен, историй, движений камеры и настроения в кинематографичное сюжетное видео и поддерживает ролики длительностью 5 секунд в 720P. API-сценарий Image-to-Video анимирует изображения по референсам и текстовым описаниям эмоций, сюжета и движений камеры, сохраняя вид референса и согласованность субъекта. API Vimoo-1.0-Ecom создаёт e-commerce-видео по референсам товара: можно объединить от 1 до 9 изображений с необязательными заголовками, описаниями и преимуществами и получить ролик 20 секунд, 9:16, 720P для витрин и промо. API Vimoo-1.0-Lite генерирует видео по текстовому промпту с необязательным изображением первого кадра, отдавая приоритет скорости, и выдаёт 5-секундное видео 720p.

В открытом виде выложен Vimoo-Base для проверки выхода 720p, а высокодетальный 1080p получается отдельным вызовом Enhancer API. Облегчённый вариант Vimoo 1.0 - Lite выполняет и text-to-video, и image-to-video одной моделью и рассчитан на более быстрый инференс. Для Diffusers есть Vimoo 1.0 T2V и I2V, а также Lite TI2V; для ComfyUI — T2V, I2V и их Distilled-версии, а также Lite TI2V и TI2V Distilled; для MLX на Apple Silicon — Lite TI2V Distilled.

• Генерация видео по текстовому описанию сцены, истории и движения камеры.
• Анимация изображений с сохранением вида референса и согласованности субъекта.
• Создание 20-секундных товарных роликов из 1–9 изображений с заголовками и описаниями.
• Облегчённая модель Lite для text-to-video и image-to-video с приоритетом скорости.
• Локальный запуск через Diffusers, ComfyUI и MLX, включая Apple Silicon.
• Открытые веса и код под Apache License 2.0, коммерческое использование разрешено.

Код, веса моделей и официальные адаптеры доступны бесплатно на условиях Apache License 2.0, коммерческое использование разрешено. Текущие открытые модели проверены только на английских промптах, поэтому промпты на других языках рекомендуется переводить.