# Video to World

> Из видео в трёхмерный мир: нейросеть превращает противоречивые кадры в цельную реальность

Метод реконструкции 3D-миров из видео диффузионных моделей с использованием нежесткого выравнивания для устранения 3D-несоответствий в сгенерированных последова

- Категории: 3D, Opensource, Бесплатные, Инструменты разработчика
- Работает из России: Да
- Бизнес-модель: Бесплатно
- Сайт сервиса: https://github.com/lukasHoel/video_to_world
- Карточка в каталоге: https://ailibri.com/video-to-world
- Обновлено: 2026-05-04

## Описание

Video to World - это метод реконструкции трёхмерных миров из видео, сгенерированных диффузионными моделями. Главная фишка: он справляется с тем, что обычно ломает 3D-реконструкцию - с внутренними несоответствиями в последовательности кадров. Вместо того чтобы пытаться выжать идеальную геометрию из противоречивых данных, Video to World использует нежёсткое выравнивание (non-rigid alignment), чтобы собрать из хаоса целостную трёхмерную сцену.


Работает это так: сначала метод берёт видео и с помощью DepthAnything-3 извлекает из каждого кадра облако точек. Потом запускается итеративный нежёсткий ICP (Iterative Closest Point), который выравнивает все эти облака в единое каноническое пространство, попутно вычисляя поля деформации для каждого кадра. Дальше идёт глобальная оптимизация, которая шлифует все деформации разом, чтобы итоговое облако точек стало чётче и ровнее. На финальном этапе обучается обратная деформация и строится 3D Gaussian Splatting-сцена - получается полноценный трёхмерный мир, который можно рендерить с любых ракурсов.


Всё это реализовано в виде Python-скриптов, которые можно запустить либо по отдельности (если нужен контроль над каждым этапом), либо одной командой через run_reconstruction.py. Есть два режима: быстрый (пропускает глобальную оптимизацию, обучает деформацию за 15 эпох, тренирует 3DGS 10 тысяч итераций) и детальный (прогоняет все стадии, 30 эпох для деформации, 15 тысяч итераций для сплаттинга). Можно выбрать, какой тип Gaussian Splatting использовать - 2DGS, 3DGS или оба сразу.


Video to World полезен, если нужно превратить сгенерированное видео в трёхмерную модель, с которой можно дальше работать - рендерить новые виды, встраивать в игровые движки, использовать для дальнейшего обучения нейросетей. Особенно актуально для случаев, когда видео изначально непоследовательно с точки зрения геометрии - метод как раз заточен под такие данные.

## Похожие сервисы в каталоге

- [CADAM](https://ailibri.com/cadam): CADAM - веб-приложение с открытым исходным кодом для создания 3D-моделей из текста и изображений с помощью ИИ, экспорт в STL и SCAD форматы.
- [AniGen](https://ailibri.com/anigen): AniGen - фреймворк для генерации анимируемых 3D-моделей из одного изображения. Использует S³ Fields для создания формы, скелета и скиннинга объектов.
- [Project Lyra](https://ailibri.com/project-lyra): Открытая модель для генерации 3D-миров от NVIDIA. Создает исследуемые 3D-сцены из изображений и видео с долгосрочной 3D-согласованностью через самодистилляцию д
- [Three Mediapipe Rig](https://ailibri.com/three-mediapipe-rig): Модуль ThreeJs для быстрой настройки скелетной анимации через Google MediaPipe с отслеживанием движений лица, тела и рук с веб-камеры
- [Hermes Agent](https://ailibri.com/hermes-agent): Hermes Agent — агент с открытым исходным кодом от NousResearch, который развивается вместе с вами. Поддержка инструментов, веб-исследований и автоматизации зада
- [HeyCLI](https://ailibri.com/heycli): Инструмент для перевода команд с обычного языка на язык Linux. Просто опишите словами, что нужно сделать, и получите готовую команду.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com