Pageindex

Pageindex - это открытый инструмент для работы с длинными документами, который вообще не использует векторные базы данных. Вместо того чтобы искать похожие куски текста, он строит древовидный индекс документа (что-то вроде умного содержания) и использует рассуждения языковой модели для поиска нужной информации. Получается, что система работает почти как человек: сначала смотрит на структуру документа, потом логически определяет, где искать ответ, и только после этого достает конкретные данные.

Главное отличие от обычных RAG-систем - никакого разбиения на чанки, никакого поиска по семантической близости. Pageindex организует документ в естественную иерархию разделов, а потом перемещается по этому дереву, рассуждая на каждом шаге, куда идти дальше. Это делает процесс поиска прозрачным и объяснимым: всегда понятно, почему система выбрала именно этот раздел, а не другой. Плюс к каждому ответу прикладываются ссылки на конкретные страницы и секции документа.

Инструмент особенно хорош для профессиональных документов: финансовых отчетов, регуляторных документов, научных работ, технических мануалов - всего, что слишком длинное для контекста модели и требует понимания структуры. Есть даже версия, которая работает напрямую с изображениями страниц PDF без OCR, используя визуальные возможности моделей.

Pageindex можно развернуть локально через репозиторий на GitHub, использовать как облачный сервис через их чат-платформу или интегрировать через MCP и API. В финансовом бенчмарке FinanceBench система на базе Pageindex показала точность 98.7%, что заметно лучше традиционных векторных подходов. Проект распространяется под лицензией MIT, так что можно свободно экспериментировать и адаптировать под свои задачи.