AgentGarten

AgentGarten — проект для создания интерактивных сред, в которых агенты смогут учиться на собственном опыте. Сейчас опубликован нейронный рендерер, а кодовые миры и цикл практики агентов пока остаются в планах. Проект адресован разработчикам и исследователям интерактивных сред, нейронного рендеринга и обучения агентов.

Рендерер использует первый кадр, текстовый контекст, данные глубины и нормалей поверхности, чтобы формировать визуальные наблюдения блоками видео. В целевой архитектуре симуляторы и игровые движки должны хранить состояние и исполнять правила мира, а рендерер — отвечать за изображение. Поэтому опубликованный код стоит оценивать как основу для работы с визуальной частью проекта, а не как готовую среду, где агент уже проходит раунды игры и разбирает свой опыт.

• Генерация видеонаблюдений по первому кадру, тексту и геометрии.
• Потоковый вывод видео блоками с ограниченным кешем.
• Обучение рендерера в три этапа.
• Визуализация проверочных клипов из контрольной точки без обучения.
• Сравнение результата с глубиной, нормалями и эталоном.

Для проверки модели можно запустить визуализацию из контрольной точки, не начиная обучение: сравнительные видео сохраняются в каталоге samples/. Это помогает увидеть рядом геометрию сцены, эталонный клип и сгенерированный результат. Обучающие данные задаются манифестом JSONL: для каждого клипа в нём указаны пути к видео, глубине и нормалям, а также подпись и масштаб глубины. Обучение начинается с весов Cosmos3-Nano, для кодирования видео используется Wan 2.2 VAE; необязательный декодер TAEHV может ускорить декодирование RGB, но не заменяет кодер Wan.

Для установки нужны Python 3.11 или новее, PyTorch 2.9 или новее и компьютер с CUDA. При первом использовании компилируются ядра и захватываются CUDA-графы, поэтому перед обслуживанием рекомендуется прогреть нужные формы входных данных. Потоковый сервер и интерактивный интерфейс движка пока обозначены как планы; код обучения и потокового вывода рендерера уже объявлен опубликованным.