AniGen - это фреймворк, который превращает одну картинку в полноценную 3D-модель, готовую к анимации. Загружаешь изображение динозавра, робота или персонажа, а на выходе получаешь меш с костями и скиннингом, который можно сразу импортировать в любой 3D-редактор и заставить двигаться.
Главная фишка - это S³ Fields, единое представление формы, скелета и скиннинга в общем пространстве. Система сама понимает, где должны быть кости, как они связаны с геометрией и как распределить веса вершин. При этом AniGen умеет работать с разным количеством суставов: от простых механизмов до сложных персонажей с пальцами.
Внутри два этапа: сначала генерируется каркас структуры, потом детальная геометрия и артикуляция. Результат - файлы mesh.glb и skeleton.glb, которые можно сразу использовать в пайплайнах для физических симуляций, создания агентов для embodied AI или анимации персонажей.
Проект выложен на GitHub с открытым кодом под MIT-лицензией, есть предобученные модели на Hugging Face и веб-демо на Gradio. Для запуска нужна видеокарта NVIDIA с минимум 18 ГБ памяти, Linux и CUDA. Установка через скрипт setup.sh, который сам подтянет все зависимости, включая PyTorch, spconv и pytorch3d.
Доступны разные варианты моделей: SS-Flow-Duet для детальных скелетов с пальцами, SS-Flow-Solo для точной геометрии, SLAT-Flow-Auto для автоматического определения количества суставов. Если нужен контроль над плотностью костей, есть SLAT-Flow-Control с пятью уровнями детализации.
Блог