Израильская компания Lightricks сделала открытым исходный код своей AI-модели LTX-2, содержащей 19 миллиардов параметров. Система способна создавать синхронизированные аудио и видео на основе текстовых описаний.
По данным технического отчета, модель генерирует до 20 секунд видео со стерео звуком из одного текстового запроса. Контент включает синхронизированную речь, фоновые звуки, звуковые эффекты и музыку, соответствующую каждой сцене. Полная версия LTX-2 работает с разрешением 4K при частоте до 50 кадров в секунду.
Модель использует асимметричную архитектуру с двумя потоками обработки данных. Видеопоток получил 14 миллиардов параметров, а аудиопоток - 5 миллиардов. Такое распределение отражает разную плотность информации в каждой модальности.

LTX-2 демонстрирует впечатляющую скорость работы. На GPU Nvidia H100 модели требуется всего 1.22 секунды для обработки 121 кадра в разрешении 720p. Для сравнения, конкурирующая модель Wan2.2-14B тратит на это 22.30 секунды.

Максимальная длина видео в 20 секунд превосходит возможности конкурентов: Google Veo 3 генерирует 12 секунд, OpenAI Sora 2 - 16 секунд, а модель Ovi от Character.AI - 10 секунд.

Основатель Lightricks Зеев Фарбман объясняет решение сделать модель открытой критикой текущего рынка. По его мнению, закрытые API не позволяют достичь необходимого уровня контроля для профессионалов.

Компания также занимает четкую этическую позицию, считая, что искусственный интеллект должен дополнять человеческое творчество, а не заменять его. Важно, чтобы пользователи могли запускать AI на собственном оборудовании и принимать этические решения самостоятельно.
Вместе с моделью выпущены облегченная версия, несколько LoRA-адаптеров и модульный фреймворк для обучения с поддержкой нескольких GPU. Модель оптимизирована для экосистемы Nvidia RTX и работает как на потребительских видеокартах, так и на корпоративных системах.
Смотрите также
-
OpenAI готовится встроить Sora прямо в ChatGPT
-
Runpod раскрыл правду: какие AI-модели реально используют разработчики
-
Bytedance выпустила Helios — ИИ генерирует минутное видео почти в реальном времени
-
Adobe Firefly научился монтировать видео по текстовому запросу
-
Ватикан запустил AI-переводчик месс на 60 языков
-
Seedance 2.0: новый AI-генератор видео уже обвиняют в массовом нарушении авторских прав
-
Швейцарцы научили ИИ учиться на своих ошибках при генерации видео
-
Голливуд нанимает "охотников за головами" для борьбы с ИИ-пиратами
-
Китайская нейросеть создает новые серии Pokemon и Dragon Ball