Map2SLAM переводит потоковое предсказание карты в SLAM реального времени: замороженная потоковая 3D foundation-модель работает как геометрический движок, а каузальный и двунаправленный вывод планируются так, чтобы поддерживать постоянное и пересматриваемое состояние SLAM.
Система устроена асинхронно: фронтенд-трекинг и бэкенд-оптимизация работают параллельно, хотя на странице показаны последовательно. Один путь фронтенда обрабатывает поступающие кадры каузальным продолжением, а два пути бэкенда заново выполняют двунаправленный префикс на выбранных ключевых кадрах, повторно используя кэшированные выходы кодировщика. Инициализация создаёт живой контекст двунаправленным префиксом, после чего трекинг наращивает постоянную траекторию. Фронтенд также проверяет ключевые кадры: принятые проверки фиксируют обновления состояния, отклонённые откатываются без повторного проигрывания.
Во время трекинга система асинхронно исправляет траекторию: лёгкая обученная голова превращает кэшированные признаки в глобальные дескрипторы, сходство предлагает кандидатов замыкания петель, а свежий двунаправленный префикс проверяет геометрию. После завершения входной последовательности запускается плотное геометрическое уточнение: оно планирует сегменты, получает наблюдения многовидовым двунаправленным префиксом и совместно уточняет позы и глубины ключевых кадров. Каждая проверка ключевого кадра выдаёт позу, глубину и внутренние параметры камеры. Последовательные наблюдения дают только принятые проверки, а ограничения петель формирует проверка геометрии пар.
Map2SLAM демонстрируется на последовательностях KITTI, VBR, Oxford Spires и игровых записях, включая GTA-V и Assassin's Creed. В одной показанной игровой записи 4541 кадр, протяжённость 3,70 км и частые замыкания петель. Для описанного профиля исполнения нужны две видеокарты NVIDIA RTX 5090D: одна выполняет фронтенд-трекинг со скоростью более 28 кадров в секунду, другая — замыкание петель и двунаправленное повторное наблюдение. После глобального выравнивания Sim(3) средняя абсолютная ошибка траектории составляет 7,56 м на KITTI, 5,15 м на VBR и 3,07 м на Oxford Spires. Голова поиска петель имеет 1,8 млн параметров, добавляет 0,94 мс на дескриптор и достигает Recall@1 88,2.
- Асинхронные фронтенд и бэкенд с повторным использованием кэшированных признаков
- Каузальный и двунаправленный вывод для трекинга и инициализации
- Онлайн-коррекция траектории с поиском петель и оптимизацией графа поз
- Плотное геометрическое уточнение поз и глубин после завершения последовательности
- Поддержка реальных и игровых последовательностей: KITTI, VBR, Oxford Spires, GTA-V, Assassin's Creed
Блог