Нейросеть Skyfall-GS

Когда смотришь на город со спутника, видишь только крыши — плоскую картинку сверху. А что, если можно спуститься на уровень улиц и пройтись по ним, не выходя из дома? Skyfall-GS делает именно это: берёт обычные спутниковые фотографии и превращает их в трёхмерные модели городов, по которым можно реально перемещаться.

От плоских крыш к живым улицам

Раньше алгоритмы умели восстанавливать только верхушки зданий — всё остальное оставалось пустотой или грубой догадкой. Skyfall-GS идёт дальше: дорисовывает стены, фасады, витрины, детали архитектуры. В итоге получается не набор коробок, а настоящее городское пространство с текстурами и элементами, которые видны на уровне глаз пешехода.

Это особенно полезно для задач, где нужна реалистичная визуализация местности: градостроительство, виртуальные туры, обучение беспилотников, игры. Вместо того чтобы вручную моделировать каждый квартал, можно загрузить снимок и получить готовую 3D-сцену.

Как работает технология

В основе лежит связка из двух подходов. Сначала 3D Gaussian splatting создаёт объёмный каркас города — что-то вроде скелета из точек в пространстве. Затем диффузионные модели заполняют пробелы: добавляют недостающие части зданий, текстуры, мелкие детали вроде окон или балконов.

Эта комбинация позволяет не просто угадывать, как выглядит здание сбоку, а синтезировать правдоподобные элементы на основе того, что модель видела в обучающих данных. Результат — реалистичная сцена, которая выглядит убедительно даже при близком рассмотрении.

Доступность и применение

Проект выложен на GitHub, код открыт и доступен для экспериментов. Это значит, что любой, кто работает с геоданными, компьютерным зрением или 3D-графикой, может попробовать технологию на своих снимках. Причём не нужно покупать дорогие лицензии или подписки — всё бесплатно.

Особенно интересно это тем, кто занимается картографией, архитектурой, урбанистикой или разработкой симуляторов. Вместо многодневной ручной работы можно автоматизировать создание 3D-контента, сэкономив кучу времени и сил.