LongLive-2.0

LongLive-2.0 — это инфраструктура от NVIDIA для генерации длинных видео, которая решает главную боль всех, кто работает с видеосинтезом: скорость и память. Обычно создание длинных роликов требует огромных ресурсов, а процесс растягивается на десятки секунд или минуты. Здесь всё иначе.

Система работает на архитектуре NVFP4 и умеет обучать модели на длинных видео в 2,1 раза быстрее, чем стандартные решения. При этом она использует всего 19,4 ГБ памяти для кэша, что позволяет не упираться в лимиты железа даже при работе с минутными роликами. На GPU GB200 выдаёт 45,7 кадров в секунду при двухшаговой генерации, что делает процесс почти мгновенным по меркам видеосинтеза.

Фишка в том, что LongLive-2.0 не просто ускоряет диффузионную модель, а выстраивает весь пайплайн от обучения до инференса как единую систему. Balanced SP распределяет нагрузку между GPU так, чтобы каждый процессор обрабатывал свой кусок видео без дублирования данных. W4A4-квантизация сжимает модель, а параллельная деквантизация и асинхронная работа VAE-декодера убирают узкие места на этапе вывода.

Ещё один трюк — Multi-Shot Attention Sink, который держит идентичность персонажей и объектов на протяжении всего ролика, даже если он длится минуту и больше. Система не пересчитывает всю историю заново при смене сцены, а использует фиксированный глобальный якорь и локальные точки привязки для каждого эпизода.

В цифрах это выглядит так: генерация 64-секундного видео занимает 36,3 секунды вместо почти двух минут на стандартном BF16-решении. Для 16-секундного ролика время падает с 26,6 до 11,2 секунд. При этом качество остаётся на уровне, который подтверждают тесты VBench для коротких и длинных видео.

LongLive-2.0 не требует сложных промежуточных этапов вроде ODE-инициализации или дополнительных стадий дообучения. Система берёт базовую диффузионную модель и превращает её в авторегрессивный генератор, способный создавать длинные интерактивные ролики. LoRA-веса добавляют возможность генерации за несколько шагов без потери стабильности.