3DreamBooth — это фреймворк для генерации видео с объектами, которые сохраняют свою идентичность и выглядят объёмно, реалистично, с правильной геометрией в пространстве. Суть простая: ты даёшь набор фотографий предмета с разных ракурсов, а система создаёт видео, где этот объект двигается, вращается, живёт в кадре — и при этом остаётся узнаваемым, детализированным, без искажений.
Внутри два ключевых компонента. Первый — 3Dapter, модуль визуального кондиционирования, который помогает сохранить мелкие текстуры и ускоряет обучение через мультивидовое внимание с общими весами. Второй — сам 3DreamBooth, оптимизация в стиле DreamBooth, которая разделяет пространственную геометрию и временное движение. Система обучается на одном кадре, а не на целых видео, что даёт крепкий 3D-приор без необходимости гонять тяжёлые видеоданные.
Результат — кинематографичные ролики с сумками, плюшевыми игрушками, скульптурами, мотоциклами, часами и другими объектами. Видео получаются с сохранением идентичности, консистентными по ракурсам, с ощущением реального объёма. Код пока в процессе подготовки к релизу: планируется выложить инференс, веса 3Dapter, бенчмарк 3D-CustomBench и обучающий код. Проект разработан в Yonsei University и Sungkyunkwan University, исходники и детали — на GitHub.
Блог