Lumos-Custom

Lumos-Custom - это исследовательский проект от DAMO Academy (Alibaba Group), который собрал под одной крышей разработки в области кастомизированной генерации видео. Если коротко: здесь два крупных подпроекта, каждый решает свою задачу - персонализация объектов и управление освещением в видео.

Первый подпроект, LumosX, принят на ICLR 2026. Он заточен под персонализированную генерацию видео с несколькими объектами. Суть в том, что модель не просто запоминает лица или предметы, а понимает связи между ними и их атрибутами. Для этого придумали специальную структуру данных, которая выстраивает отношения через подписи и подсказки от мультимодальных языковых моделей, а затем используют Relational Self-Attention и Relational Cross-Attention, чтобы модель улавливала зависимости между объектами и их характеристиками. В репозитории лежат веса модели, инструкции по запуску и бенчмарк для оценки.

Второй подпроект, UniLumos, попал на NeurIPS 2025. Это про релайтинг - переосвещение изображений и видео. Фишка в том, что система работает одинаково хорошо и с фото, и с видео, при этом учитывает физику сцены: использует карты глубины и нормалей, чтобы свет ложился правдоподобно. Обучение построено так, чтобы модель справлялась даже при малом числе шагов. В комплекте идёт LumosBench - набор для оценки качества релайтинга.

Репозиторий устроен просто: каждый подпроект живёт в своей папке со своим README, весами и примерами. Клонируешь, заходишь в нужную директорию, следуешь инструкциям - и всё работает. Если интересуешься базовой генерацией видео, авторы советуют глянуть на основной проект Lumos.