Dream-RSI — исследовательский проект (технический отчёт с публикацией на arXiv, кодом и живой демкой), который предлагает способ улучшать стратегии поиска у агентов, занятых долгим исследовательским процессом: инженерией алгоритмов, математической оптимизацией, написанием GPU-ядер. Идея простая: историю уже проведённых поисков превратить в симулятор, внутри которого можно «во сне» прогонять тысячи альтернативных стратегий и выпускать в реальный запуск только победителя. Работа сделана командой из Google, Google DeepMind, Университета Мэриленда и Университета Вирджинии.
Проблема, из которой всё выросло, звучит так: цикл открытий у агента упирается не в генерацию кандидатов, а в исследование — где ветвиться, что запускать параллельно, когда обрубать бесперспективную линию. Эта часть обычно прописана руками и заморожена. Оценить новую стратегию исследования онлайн дорого: нужно досмотреть до конца весь прогон, а не оценить один кандидат. А пространство возможных стратегий огромное, и большинство из них плохие — каждую придётся выяснять полным прогоном.
Dream-RSI смотрит на завершённый прогон не как на текст для промпта и не как на данные для дообучения, а как на дерево. Каждый узел — попытка с полным наблюдением и реальным результатом исполнения кода. Стратегия исследования делает ровно одну вещь: выбирает, какую попытку продолжить следующей. Значит, альтернативной стратегии не нужно ничего перезапускать — она просто обойдёт то же дерево в другом порядке, с другими группировками параллельных задач и другими правилами остановки. Все ответы уже лежат на диске, оценка возвращается сразу и стоит ноль исполнений.
Отличие от обученной модели мира здесь принципиальное: ничего не предсказывается. Симулятор точен внутри того пространства поиска, которое реально было пройдено, потому что он и есть это пространство. Ограничение такое же резкое — «помечтать» можно только там, куда история действительно дошла. Отсюда и петля:
- онлайн-исследование: текущая стратегия ведёт кодового агента, растёт дерево открытий, пишутся трейсы;
- сборка replay-симулятора: дерево становится переиспользуемым миром и попадает в общий пул;
- улучшение через «сны»: агент придумывает альтернативные стратегии и проигрывает их в симуляторе, получая быструю обратную связь;
- лучшая стратегия уходит в новый онлайн-прогон — и приносит мир, куда прежние стратегии не добрались бы.
Сама стратегия исследования тут — исполняемый код, а не набор весов: она решает, где фиксированный агент продолжает поиск, что идёт параллельно и когда остановиться. Оценщик кандидатов при этом фиксирован и возвращает диагностическую обратную связь. Архитектурно Dream-RSI описан как лёгкий слой оркестрации: он делает исследование явным и программируемым, а базовый кодовый агент оставляет без изменений. По заявленным результатам на трёх доменах — алгоритмическая инженерия, математическая оптимизация и GPU-ядра — подход даёт сопоставимое или лучшее качество открытий при заметно меньшей стоимости.
Блог