tttLRM

tttLRM - это инструмент для 3D-реконструкции из нескольких изображений, который работает с длинными последовательностями кадров и умеет генерировать сцены автоматически, кусок за куском. Проект был представлен на CVPR 2026 и решает задачу построения трехмерных моделей из большого числа фотографий - там, где обычные методы начинают тормозить или терять качество.

Основная фишка - это test-time training, то есть модель дообучается прямо во время работы с конкретной сценой. Это позволяет ей адаптироваться к особенностям данных и выдавать более точные результаты. Плюс есть два режима работы: полный, когда все изображения обрабатываются сразу, и автоматический, который разбивает входные данные на части по четыре кадра и генерирует модель поэтапно. Второй вариант полезен, когда изображений очень много и нужно экономить память.

Работает tttLRM на основе sequence parallel - это означает, что входные изображения и генерируемые 3D-гауссианы распределяются между несколькими GPU. Количество видеокарт должно делиться на заданное число без остатка, чтобы всё работало корректно. Это важно, если у тебя мощная машина и ты хочешь ускорить процесс.

Инструмент поддерживает работу с датасетом DL3DV Benchmark - это тестовый набор данных, который не использовался при обучении, а также с собственными данными, полученными через COLMAP. Если у тебя есть свои фотографии сцены и реконструкция от COLMAP, можно сконвертировать их в нужный формат и запустить инференс. Правда, автор честно предупреждает, что модель обучалась на определенных разрешениях и параметрах камеры, так что на своих данных результат может быть не идеальным.

Установка требует Python 3.10, PyTorch, flash-attn и несколько других зависимостей. Есть готовые скрипты для скачивания предобученных моделей и запуска инференса, так что начать можно быстро. Код выложен на GitHub под лицензией Adobe Research License, а сам проект опирается на наработки LongLRM и LaCT.