Lumine

Lumine - это игровой агент, который воспринимает, анализирует и действует в реальном времени внутри 3D-игр. Разработка ByteDance на базе Qwen2-VL-7B обрабатывает визуальный поток с экрана на частоте 5 Гц и выдаёт точные команды клавиатуры и мыши на 30 Гц. Проще говоря, он смотрит в экран, как человек, и сам решает, куда идти и что делать дальше - только без пауз на перекур.

Автономное прохождение многочасовых сюжетных линий

Агент способен проходить основные сюжетные линии в играх длительностью от часа до семи с половиной. В Genshin Impact он завершил пятичасовую сюжетную арку региона Мондштадт, включая все три акта. Интересно, что обучение проводилось только на первом акте, а дальше Lumine действовал самостоятельно, разбираясь с квестами и диалогами без дополнительной подготовки.

В регионе Лиюэ, который для модели был совершенно новым, агент сумел не только дойти до главного города и продолжить сюжет, но и найти жилище адептов в горах. Это говорит о том, что система адаптируется к незнакомым локациям и задачам, опираясь на общие игровые паттерны.

Кросс-игровая адаптация без дообучения

Lumine показал способность переноситься между играми без изменений в коде или дополнительного обучения. В Honkai: Star Rail он прошёл всю главу космической станции Герты за 7 часов 18 минут. В Wuthering Waves агент завершил около ста минут основного сюжета. Такая универсальность возможна благодаря единому подходу к восприятию игрового пространства через визуальный анализ, а не жёсткие привязки к конкретным механикам.

Как работает восприятие и принятие решений

Система объединяет восприятие, рассуждение и действие в сквозной процесс. Lumine анализирует необработанные пиксели экрана и адаптивно включает логическое рассуждение только когда это необходимо - например, при выборе направления движения или взаимодействии с NPC. Это позволяет экономить ресурсы и действовать быстрее в рутинных ситуациях вроде боя или перемещения по карте.

Агент использует визуально-языковую модель, которая понимает контекст происходящего на экране и переводит его в конкретные действия. Вместо того чтобы заучивать последовательности нажатий, Lumine формирует стратегию на основе визуальной информации, что делает его поведение гибким и похожим на действия живого игрока.