# NAVA

> Звук и картинка рождаются вместе: ИИ создаёт видео с душой

NAVA — фреймворк совместной генерации аудио и видео с нативным выравниванием модальностей и управляемой генерацией речи через тембровое обусловливание.

- Категории: Opensource, Обработка звука, Создание видео
- Работает из России: Да
- Бизнес-модель: Freemium
- Сайт сервиса: https://github.com/ernie-research/NAVA
- Карточка в каталоге: https://ailibri.com/nava
- Обновлено: 2026-06-15

## Описание

NAVA — это фреймворк для совместной генерации аудио и видео, где звук и картинка создаются не по отдельности, а сразу в едином пространстве выравнивания. Никаких костылей в виде вокодеров, которые подгоняют аудио к уже готовому видео — всё рождается вместе, в синхроне.


В основе архитектура Align-then-Fuse MMDiT: сначала строится соответствие между аудио и видео, потом они объединяются в единый процесс денойзинга. 6,3 миллиарда параметров — и на выходе 720p-видео со стерео-звуком примерно за минуту на восьми GPU.


Отдельная фича — Timbre-in-Context Conditioning. Это механизм, который привязывает тембр голоса из референсного WAV-файла к конкретным речевым фрагментам. Нужно, чтобы разные спикеры звучали своими голосами — передаёшь соответствующие файлы, и NAVA это учтёт. Помимо этого, можно управлять камерой через текстовый промпт: задавать композицию кадра, движение и темп прямо в описании.


Репозиторий полностью открытый и комплектный: инференс-пайплайн, интерактивный Gradio-демо, код для обучения. Можно запускать, дообучать и строить поверх. Под разное железо есть несколько режимов запуска — от 80 ГБ VRAM без офлоада до ~18 ГБ с FP8 и тайлингом VAE. RTX 4090 тянет с group offload, RTX 5090 — из коробки по FP8-пути.


Видео можно генерировать в любом соотношении сторон — горизонталь, вертикаль, квадрат — из одного чекпоинта. Аудио-ветка и аудиовизуальное выравнивание обучены с нуля, без предобученных аудио-бэкбонов.

## Похожие сервисы в каталоге

- [Fish Audio](https://ailibri.com/fish-audio): ИИ-сервис для преобразования текста в речь и клонирования голоса. Более 2 млн голосов, управление эмоциями, 30+ языков. Попробуйте бесплатно!
- [ElevenLabs](https://ailibri.com/eleven-labs): ИИ-генератор голоса ElevenLabs: реалистичная речь, клонирование голоса, дубляж и музыка. 10 000+ голосов на 70+ языках для контента и разработчиков.
- [Genmo](https://ailibri.com/genmo): Genmo: открытая text-to-video модель Mochi, видео по промпту в плейграунде на Mochi 1.1, локальный запуск, ComfyUI и код на GitHub.
- [Remotion Agent Skills](https://ailibri.com/remotion-agent-skills): Набор Agent Skills от команды Remotion: слэш-команды для Claude Code, Codex, Kimi Code и Cursor. Установка одной командой npx skills add remotion-dev/skills.
- [SCAIL-2](https://ailibri.com/scail-2): SCAIL-2 — open-source модель для управляемой анимации персонажей с end-to-end кондиционированием. Поддерживает сложные движения без промежуточных представлений
- [LongLive-2.0](https://ailibri.com/longlive-2-0): LongLive-2.0 — инфраструктура NVIDIA для генерации длинных видео с технологиями NVFP4, параллельным обучением Balanced SP и ускоренным инференсом через W4A4.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com