# WorldSculpt

> Из видео — редактируемый 3D-мир: сотни объектов по отдельности

WorldSculpt превращает видео с масками и 3D-боксами в композиционные 3D-миры: сотни объектов как отдельные меши, которые можно изолировать и редактировать.

- Категории: 3D, Opensource, Исследования
- Модели: Pixal3D, DINOv3, Marble
- Сайт сервиса: https://alaya-lab.github.io/WorldSculpt/
- Карточка в каталоге: https://ailibri.com/worldsculpt
- Обновлено: 2026-09-10

## Описание

WorldSculpt — исследовательский проект лаборатории Alaya Lab и Токийского университета. Он умеет собирать из видео и снимков сцены композиционное представление: для каждого объекта — свой отдельный меш. На входе — RGB-кадры с масками инстансов и 3D-боксами, на выходе — сцена, где каждый предмет существует сам по себе и его можно вытащить, переставить или заменить. Подойдёт тем, кто работает с реконструкцией 3D-сцен: исследователям, техартистам, разработчикам пайплайнов для игр и симуляций.

Главная особенность в том, что метод не боится захламлённых сцен. Речь про сотни объектов в одном кадре, которые плотно заполняют пространство, перекрыты другими предметами и видны лишь частично. WorldSculpt достроит скрытые части каждого предмета и выдаст замкнутый, целостный меш — так что сборка сцены сводится к простым жёстким преобразованиям, без склейки объектов между собой и без ручной доводки каждого элемента.

Под капотом — доработанный однообъектный генеративный prior Pixal3D, который научили принимать сразу несколько перекрытых видов. 3D-бокс объекта задаёт канонический куб, кадры сцены обрезаются и маскируются под то представление, которого ждёт модель, а признаки DINOv3 со всех видов проецируются в канонический воксельный грид и сводятся вместе агрегатором, не зависящим от порядка кадров. Видимые области остаются достоверными, невидимые — правдоподобно досинтезируются. Обучалась модель только на одиночных объектах, но масштабируется на сотни в сцене.

На странице проекта есть интерактивный вьюер, но пока в нём процедурный превью — реальные меши авторы обещают выложить позже (то же и у сцен бенчмарка). Зато механика уже показывает, что значит композиционность: объекты подсвечиваются при наведении, изолируются по клику, а слайдер «Explode» разносит сцену на части. Саму реконструкцию видно в отдельном блоке с 3DGS-мирами, сгенерированными в Marble от World Labs: слева исходный гауссов сплат, справа реконструированные меши, камера синхронизирована. Во вьюере используются сжатые меши, оригиналы лежат в репозитории на GitHub.

Вместе с методом авторы выпустили бенчмарк UE-MeshyScene — шесть фотореалистичных окружений, отрендеренных в Unreal Engine 5.8 в разрешении 2560×1440 и плотно заполненных ассетами в естественных расстановках. К сценам идёт полный набор аннотаций:

- полные меши по каждому объекту;

- позы камер;

- маски инстансов;

- 3D-боксы;

- метрическая глубина.

Что стоит учитывать: это академическая работа, а не готовый сервис с кнопкой «загрузить видео». Нужны размеченные входные данные — маски и 3D-боксы, — а код и модель берутся из репозитория. Референсные меши бенчмарка из-за лицензионных ограничений не публикуются, для оценки на UE-MeshyScene нужно писать авторам напрямую. Есть статья на arXiv, код, веса, бенчмарк и минутное видео с объяснением принципа работы.

## Похожие сервисы в каталоге

- [Abliteration.ai](https://ailibri.com/abliteration-ai): API к языковой модели без встроенных отказов и шлюз политик: для red team, кибербезопасности, trust & safety, синтетических данных и ML-исследований.
- [SCAIL-2](https://ailibri.com/scail-2): SCAIL-2 — open-source модель для управляемой анимации персонажей с end-to-end кондиционированием. Поддерживает сложные движения без промежуточных представлений
- [MAMMA](https://ailibri.com/mamma): MAMMA — система захвата движений нескольких людей без маркеров. Точный 3D-анализ движения на основе видео. Код CVPR 2026.
- [tttLRM](https://ailibri.com/tttlrm): tttLRM - инструмент для 3D-реконструкции с длинным контекстом и авторегрессивным обучением во время тестирования. Поддерживает COLMAP данные.
- [LiTo](https://ailibri.com/lito): LiTo — исследовательский метод токенизации поверхностных световых полей, совместно моделирующий геометрию объектов и вид-зависимый внешний вид. ICLR 2026.
- [GET3D (Nvidia)](https://ailibri.com/get3d-nvidia): Нейросеть NVIDIA для генерации 3D-объектов высокого качества из простых текстовых описаний с возможностью редактирования и использования в проектах.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com