# AgentGarten

> Видео для миров, в которых агенты учатся на опыте

Проект нейронного рендеринга генерирует видеонаблюдения по первому кадру, тексту, глубине и нормалям поверхности.

- Что делает: генерирует видеонаблюдения для агентов
- Категории: Opensource, Инструменты разработчика, Создание видео
- Модели: Cosmos3-Nano, Wan 2.2 VAE
- Сайт сервиса: https://github.com/MirroS-Lab/AgentGarten
- Карточка в каталоге: https://ailibri.com/agentgarten
- Обновлено: 2026-10-12

## Описание

AgentGarten — проект для создания интерактивных сред, в которых агенты смогут учиться на собственном опыте. Сейчас опубликован нейронный рендерер, а кодовые миры и цикл практики агентов пока остаются в планах. Проект адресован разработчикам и исследователям интерактивных сред, нейронного рендеринга и обучения агентов.
Рендерер использует первый кадр, текстовый контекст, данные глубины и нормалей поверхности, чтобы формировать визуальные наблюдения блоками видео. В целевой архитектуре симуляторы и игровые движки должны хранить состояние и исполнять правила мира, а рендерер — отвечать за изображение. Поэтому опубликованный код стоит оценивать как основу для работы с визуальной частью проекта, а не как готовую среду, где агент уже проходит раунды игры и разбирает свой опыт.

- Генерация видеонаблюдений по первому кадру, тексту и геометрии.

- Потоковый вывод видео блоками с ограниченным кешем.

- Обучение рендерера в три этапа.

- Визуализация проверочных клипов из контрольной точки без обучения.

- Сравнение результата с глубиной, нормалями и эталоном.

Для проверки модели можно запустить визуализацию из контрольной точки, не начиная обучение: сравнительные видео сохраняются в каталоге samples/. Это помогает увидеть рядом геометрию сцены, эталонный клип и сгенерированный результат. Обучающие данные задаются манифестом JSONL: для каждого клипа в нём указаны пути к видео, глубине и нормалям, а также подпись и масштаб глубины. Обучение начинается с весов Cosmos3-Nano, для кодирования видео используется Wan 2.2 VAE; необязательный декодер TAEHV может ускорить декодирование RGB, но не заменяет кодер Wan.
Для установки нужны Python 3.11 или новее, PyTorch 2.9 или новее и компьютер с CUDA. При первом использовании компилируются ядра и захватываются CUDA-графы, поэтому перед обслуживанием рекомендуется прогреть нужные формы входных данных. Потоковый сервер и интерактивный интерфейс движка пока обозначены как планы; код обучения и потокового вывода рендерера уже объявлен опубликованным.

## Похожие сервисы в каталоге

- [Remotion Agent Skills](https://ailibri.com/remotion-agent-skills): Набор Agent Skills от команды Remotion: слэш-команды для Claude Code, Codex, Kimi Code и Cursor. Установка одной командой npx skills add remotion-dev/skills.
- [LongLive-2.0](https://ailibri.com/longlive-2-0): LongLive-2.0 — инфраструктура NVIDIA для генерации длинных видео с технологиями NVFP4, параллельным обучением Balanced SP и ускоренным инференсом через W4A4.
- [OmniShow](https://ailibri.com/omnishow): OmniShow - модель ByteDance для генерации видео с взаимодействием человека и объектов. Поддерживает текст, изображения, аудио и позы в едином фреймворке.
- [OmniWeaving](https://ailibri.com/omniweaving): OmniWeaving - инструмент для унифицированной генерации видео с композицией произвольной формы и рассуждениями. Основан на HunyuanVideo-1.5 от Tencent Hunyuan.
- [Lumos-Custom](https://ailibri.com/lumos-custom): Lumos-Custom - открытый исследовательский проект для кастомизации видео: персонализация нескольких субъектов, настройка освещения и атрибутов в генерируемых вид
- [OmniForcing](https://ailibri.com/omniforcing): OmniForcing преобразует двунаправленную аудиовизуальную диффузионную модель в потоковый авторегрессивный генератор для совместной генерации аудио и видео в реал

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com