Когда смотришь на город со спутника, видишь только крыши — плоскую картинку сверху. А что, если можно спуститься на уровень улиц и пройтись по ним, не выходя из дома? Skyfall-GS делает именно это: берёт обычные спутниковые фотографии и превращает их в трёхмерные модели городов, по которым можно реально перемещаться.
От плоских крыш к живым улицам
Раньше алгоритмы умели восстанавливать только верхушки зданий — всё остальное оставалось пустотой или грубой догадкой. Skyfall-GS идёт дальше: дорисовывает стены, фасады, витрины, детали архитектуры. В итоге получается не набор коробок, а настоящее городское пространство с текстурами и элементами, которые видны на уровне глаз пешехода.
Это особенно полезно для задач, где нужна реалистичная визуализация местности: градостроительство, виртуальные туры, обучение беспилотников, игры. Вместо того чтобы вручную моделировать каждый квартал, можно загрузить снимок и получить готовую 3D-сцену.
Как работает технология
В основе лежит связка из двух подходов. Сначала 3D Gaussian splatting создаёт объёмный каркас города — что-то вроде скелета из точек в пространстве. Затем диффузионные модели заполняют пробелы: добавляют недостающие части зданий, текстуры, мелкие детали вроде окон или балконов.
Эта комбинация позволяет не просто угадывать, как выглядит здание сбоку, а синтезировать правдоподобные элементы на основе того, что модель видела в обучающих данных. Результат — реалистичная сцена, которая выглядит убедительно даже при близком рассмотрении.
Доступность и применение
Проект выложен на GitHub, код открыт и доступен для экспериментов. Это значит, что любой, кто работает с геоданными, компьютерным зрением или 3D-графикой, может попробовать технологию на своих снимках. Причём не нужно покупать дорогие лицензии или подписки — всё бесплатно.
Особенно интересно это тем, кто занимается картографией, архитектурой, урбанистикой или разработкой симуляторов. Вместо многодневной ручной работы можно автоматизировать создание 3D-контента, сэкономив кучу времени и сил.
Блог