WorldSculpt

WorldSculpt — исследовательский проект лаборатории Alaya Lab и Токийского университета. Он умеет собирать из видео и снимков сцены композиционное представление: для каждого объекта — свой отдельный меш. На входе — RGB-кадры с масками инстансов и 3D-боксами, на выходе — сцена, где каждый предмет существует сам по себе и его можно вытащить, переставить или заменить. Подойдёт тем, кто работает с реконструкцией 3D-сцен: исследователям, техартистам, разработчикам пайплайнов для игр и симуляций.

Главная особенность в том, что метод не боится захламлённых сцен. Речь про сотни объектов в одном кадре, которые плотно заполняют пространство, перекрыты другими предметами и видны лишь частично. WorldSculpt достроит скрытые части каждого предмета и выдаст замкнутый, целостный меш — так что сборка сцены сводится к простым жёстким преобразованиям, без склейки объектов между собой и без ручной доводки каждого элемента.

Под капотом — доработанный однообъектный генеративный prior Pixal3D, который научили принимать сразу несколько перекрытых видов. 3D-бокс объекта задаёт канонический куб, кадры сцены обрезаются и маскируются под то представление, которого ждёт модель, а признаки DINOv3 со всех видов проецируются в канонический воксельный грид и сводятся вместе агрегатором, не зависящим от порядка кадров. Видимые области остаются достоверными, невидимые — правдоподобно досинтезируются. Обучалась модель только на одиночных объектах, но масштабируется на сотни в сцене.

На странице проекта есть интерактивный вьюер, но пока в нём процедурный превью — реальные меши авторы обещают выложить позже (то же и у сцен бенчмарка). Зато механика уже показывает, что значит композиционность: объекты подсвечиваются при наведении, изолируются по клику, а слайдер «Explode» разносит сцену на части. Саму реконструкцию видно в отдельном блоке с 3DGS-мирами, сгенерированными в Marble от World Labs: слева исходный гауссов сплат, справа реконструированные меши, камера синхронизирована. Во вьюере используются сжатые меши, оригиналы лежат в репозитории на GitHub.

Вместе с методом авторы выпустили бенчмарк UE-MeshyScene — шесть фотореалистичных окружений, отрендеренных в Unreal Engine 5.8 в разрешении 2560×1440 и плотно заполненных ассетами в естественных расстановках. К сценам идёт полный набор аннотаций:

• полные меши по каждому объекту;
• позы камер;
• маски инстансов;
• 3D-боксы;
• метрическая глубина.

Что стоит учитывать: это академическая работа, а не готовый сервис с кнопкой «загрузить видео». Нужны размеченные входные данные — маски и 3D-боксы, — а код и модель берутся из репозитория. Референсные меши бенчмарка из-за лицензионных ограничений не публикуются, для оценки на UE-MeshyScene нужно писать авторам напрямую. Есть статья на arXiv, код, веса, бенчмарк и минутное видео с объяснением принципа работы.