Нейросеть Matrix-3D

Matrix-3D превращает обычный текст или картинку в полноценный трёхмерный мир, по которому можно перемещаться. Китайская SkyWorks создала инструмент, где видеогенерация встречается с 3D реконструкцией — получается что-то среднее между создателем контента и архитектором виртуальных пространств.

Как работает генерация 3D сцен

Процесс довольно прямолинейный: загружаешь промт или изображение, алгоритм анализирует входные данные и выдаёт либо видеопанораму, либо полноценную 3D сцену для навигации. Система сначала генерирует видеоконтент, а затем реконструирует из него объёмную геометрию.

Навигация происходит через задание траектории движения, что напоминает программирование маршрута для дрона. Не самое интуитивное решение по сравнению с привычным управлением мышкой или геймпадом, но для первой версии вполне рабочий вариант.

Технические характеристики Matrix-3D

Доступны два разрешения: базовое 960 × 480 и улучшенное 1440 × 720. Рендеринг в качестве 720p на видеокарте A800 с 40 ГБ видеопамяти занимает около часа. Это как ждать загрузки игры на старом компьютере — долго, но результат того стоит.

Час ожидания за качественную 3D сцену — справедливая цена за технологию, которая ещё год назад казалась фантастикой. Тем более что проект находится в открытом доступе на GitHub, что делает его доступным для экспериментов.

Конкуренты и альтернативы

Matrix-3D соревнуется с Hunyuan World 1 от Tencent, проектом Odyssey и будущим Genie 3 от Google. У каждого свои особенности: World 1 поддерживает управление геймпадом, что удобнее для пользователей, привыкших к играм.

Рынок генераторов 3D миров только формируется, и каждая компания пробует свой подход. SkyWorks делает ставку на открытость кода и доступность технологии, что может оказаться выигрышной стратегией в долгосрочной перспективе.