Lightricks бросает вызов Sora и Veo, выпустив открытую AI-модель LTX-2

  ·   чтения   ·     ·  
Израильская компания Lightricks представила открытую модель LTX-2 с 19 миллиардами параметров для генерации видео и аудио. Модель создает синхронизированный контент длительностью до 20 секунд и работает быстрее конкурентов.
Lightricks бросает вызов Sora и Veo, выпустив открытую AI-модель LTX-2

Израильская компания Lightricks сделала открытым исходный код своей AI-модели LTX-2, содержащей 19 миллиардов параметров. Система способна создавать синхронизированные аудио и видео на основе текстовых описаний.

По данным технического отчета, модель генерирует до 20 секунд видео со стерео звуком из одного текстового запроса. Контент включает синхронизированную речь, фоновые звуки, звуковые эффекты и музыку, соответствующую каждой сцене. Полная версия LTX-2 работает с разрешением 4K при частоте до 50 кадров в секунду.

Модель использует асимметричную архитектуру с двумя потоками обработки данных. Видеопоток получил 14 миллиардов параметров, а аудиопоток - 5 миллиардов. Такое распределение отражает разную плотность информации в каждой модальности.

LTX-2 демонстрирует впечатляющую скорость работы. На GPU Nvidia H100 модели требуется всего 1.22 секунды для обработки 121 кадра в разрешении 720p. Для сравнения, конкурирующая модель Wan2.2-14B тратит на это 22.30 секунды.

Максимальная длина видео в 20 секунд превосходит возможности конкурентов: Google Veo 3 генерирует 12 секунд, OpenAI Sora 2 - 16 секунд, а модель Ovi от Character.AI - 10 секунд.

Основатель Lightricks Зеев Фарбман объясняет решение сделать модель открытой критикой текущего рынка. По его мнению, закрытые API не позволяют достичь необходимого уровня контроля для профессионалов.

Компания также занимает четкую этическую позицию, считая, что искусственный интеллект должен дополнять человеческое творчество, а не заменять его. Важно, чтобы пользователи могли запускать AI на собственном оборудовании и принимать этические решения самостоятельно.

Вместе с моделью выпущены облегченная версия, несколько LoRA-адаптеров и модульный фреймворк для обучения с поддержкой нескольких GPU. Модель оптимизирована для экосистемы Nvidia RTX и работает как на потребительских видеокартах, так и на корпоративных системах.

Смотрите также

Логотип Telegram

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал!

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

AILibri – главная страница
Ctrl / ⌘+K