LiTo

LiTo — это исследовательский проект Apple, представленный на ICLR 2026, который решает одну из самых сложных задач в 3D-графике: как одновременно закодировать и геометрию объекта, и то, как он выглядит при разном освещении.

В основе лежит идея поверхностного светового поля. RGB-depth изображения — это, по сути, выборки из этого поля, и LiTo учится кодировать случайные подвыборки в компактный набор латентных векторов. В итоге геометрия и внешний вид объекта живут в едином 3D-латентном пространстве, а не хранятся раздельно.

Это позволяет воспроизводить эффекты, которые обычно теряются при 3D-реконструкции: зеркальные блики, отражения Френеля, поведение материала под сложным освещением. Сгенерированный объект не просто похож на исходное изображение — он согласован с его освещением и материалами.

Из одного изображения LiTo строит 3D-объект за 4.7 секунды на H100 (после torch compile). На macOS с Apple Silicon тот же процесс занимает около 160 секунд через MLX. Полная поддержка тренировки и всех инструментов — только на Linux с NVIDIA GPU.

Репозиторий включает предобученные модели токенизатора и image-to-3D генератора, интерактивное демо на FastAPI, ноутбук для работы с токенизатором, скрипты рендеринга через Blender 4.2 и разбивки датасетов Objaverse и ObjaverseXL. Токенизатор обучен на 2²⁰ входных точках и 8192 выходных токенах с 32-мерными признаками, но авторы отмечают, что он устойчиво работает и с другими значениями.

Код разбит на три пакета: lito с тренерами и определениями моделей, plibs с 3D-утилитами для работы с точечными облаками и рендеринга, и blender_rendering со скриптами для генерации RGBD-данных. Среда управляется через pixi с lock-файлом для воспроизводимой установки.