Нейросеть UFM

UFM (Unified Flow-Matching) представляет собой технологию, которая меняет ракурс изображений без использования сложного 3D-моделирования. Вместо этого система работает с потоками и соответствиями между кадрами.

Как это работает

Технология одновременно решает две важные задачи в области компьютерного зрения:

• определение оптического потока (как пиксели "перемещаются" между кадрами)
• поиск соответствий между изображениями, снятыми под разными углами и с разным масштабом

Технические особенности

Архитектура UFM включает DINOv2 для кодирования изображений и трансформер, который генерирует поток данных и маску видимости. Благодаря этому устраняется необходимость в сложных многоэтапных системах обработки.

По сравнению с предыдущими решениями, UFM демонстрирует впечатляющие результаты: точность определения оптического потока выше на 28%, а в задачах сопоставления ошибок меньше на 62%, при этом скорость обработки увеличена в 7 раз.

Для тех, кто работает с компьютерным зрением, эта технология может существенно упростить процессы, связанные с трансформацией изображений и анимацией, предлагая более эффективный подход без необходимости построения полноценных 3D-моделей.