LongLive-2.0
Как нейросеть научилась создавать часовые видео за секунды вместо дней
FastFrames — это семейство быстрых авторегрессионных диффузионных моделей, которые генерируют видео с интерактивной задержкой. Модели формируют кадры с учётом новых наблюдений и входных данных, что подходит для интерактивных визуальных сценариев, включая генерацию с условием по камере и по физике. Семейство включает две версии: FastFrames-S с 1,3 млрд параметров и FastFrames-L с 14 млрд параметров.
Заявлена генерация видео 480p с интерактивной задержкой менее 50 мс, но для варианта 14B этот показатель относится к узлу из 8 GPU NVIDIA B200. FastFrames-S на одном GPU обрабатывает кадр за 36 мс, или 28 ответов в секунду, и по качеству сопоставим с моделью, которая почти в 8 раз медленнее. На восьми GPU задержка FastFrames-S составляет 14 мс на одну единицу генерации. FastFrames-L на узле из 8 GPU обрабатывает кадр за 45 мс, или 22 ответа в секунду, и обеспечивает заметно более высокое визуальное качество и реализм. На одном GPU сквозная задержка FastFrames-L составляет 158 мс.
Основные возможности:
Опубликованные значения задержки измеряют сквозную задержку одной единицы генерации в установившемся режиме при 480p на GPU NVIDIA B200, поэтому результаты не обобщаются на другие разрешения, режимы работы или ускорители.
Как нейросеть научилась создавать часовые видео за секунды вместо дней
Модель от Nvidia для генерации видео длительностью до 5 минут с управлением через ControlNet. Позволяет контролировать глубину сцены и движение камеры в разрешении 480p.
Создавайте длинные видео с качеством и скоростью нового поколения искусственного интеллекта
Видеогенератор с памятью кадров, который создаёт связные анимации без эффекта «плывущих объектов» благодаря технологии temporal consistency.