RAG с памятью: как ИИ учится на каждом запросе

Представьте: вы задаёте вопрос ИИ-ассистенту, получаете ответ, и... система тут же забывает, как нашла нужную информацию. Звучит расточительно? Именно так работает большинство современных RAG-систем (Retrieval-Augmented Generation - генерация с дополненным поиском).

Обычно RAG обрабатывает каждый запрос как совершенно новый. Ищете информацию про "архитектуру трансформеров"? Система расширит запрос синонимами вроде "self-attention" и "multi-head attention", найдёт документы, выдаст ответ - и тут же выбросит всю эту работу в корзину. Завтра кто-то спросит почти то же самое, и всё начнётся заново.

Исследователи предложили решение под названием Evolving Retrieval Memory (ERM) - "эволюционирующая память поиска". Суть проста: если система успешно нашла ответ, почему бы не запомнить, что сработало?

Как это работает

Ключевое открытие звучит почти банально: расширить запрос пользователя или обогатить документ в базе данных - математически это одно и то же. Но из этого следует важный вывод: вместо того чтобы каждый раз тратить ресурсы на расширение запроса, можно один раз обновить векторное представление документа.

Главная проблема такого подхода - "семантический дрейф". Если наивно обновлять векторы документов, они могут настолько измениться, что система "забудет", о чём вообще был исходный текст.

ERM решает это через три механизма:

• Учится только на успешных запросах (если ответ оказался качественным)
• Выделяет конкретные термины, которые реально помогли найти информацию
• Ограничивает изменения векторов так, чтобы документ сохранял исходный смысл

Результаты

Тесты на 13 различных наборах данных показали: ERM работает так же точно, как традиционное расширение запросов, но со скоростью обычного поиска. Раньше приходилось выбирать - либо быстро и просто, либо медленно и точно. Теперь можно и то, и другое.

Особенно заметны улучшения на сложных задачах, где требуется рассуждение - именно там, где обычный поиск по ключевым словам пасует.

Для компаний, использующих RAG в продакшене, это означает системы, которые адаптируются к специфической терминологии и учатся на реальных паттернах использования. Без дорогостоящего переобучения.

По сути, ERM превращает статичные базы векторов в "живые индексы", которые становятся умнее с каждым запросом. Примерно как человеческая память - мы же не пересчитываем понимание концепций с нуля каждый раз, а укрепляем успешные ассоциации.

Очередной шаг к тому, чтобы ИИ-системы не просто выполняли задачи быстрее, а действительно учились запоминать то, что работает.