Unlimited OCR

Unlimited OCR 2 разбирает документы неограниченной длины в конечном контекстном окне. Это описывает возможность последовательного разбора, а не отсутствие практических ограничений на оборудование, число токенов или настройки запуска.

В многостраничном режиме изображения страниц передаются одним запросом по порядку, что позволяет использовать межстраничный контекст. В ответе есть маркер для каждой входной страницы в том же порядке.

Для одной страницы доступен режим gundam с динамическим разбиением на фрагменты; в многостраничном режиме Transformers кодирует каждую страницу одним глобальным представлением.

Для инференса доступны Transformers для быстрых тестов и SGLang, рекомендуемый для сервинга; проект также указывает поддержку vLLM. Для сервинга через SGLang предусмотрен OpenAI-совместимый API. В примере PDF сначала преобразуется в изображения страниц, поэтому это не означает прямую обработку PDF самой моделью.

• SR-SWA предназначен для устранения квадратичного масштабирования внимания и узких мест по памяти при росте документов.
• Заявлено, что благодаря SR-SWA задержка декодирования на шаг и объём памяти остаются почти постоянными при увеличении длины документа; фактические затраты зависят также от конфигурации инференса и оборудования.
• Авторы заявляют качество state of the art на бенчмарках документов от десятков страниц, например MPDocBench, до сотен страниц, например MarathonDocBench. Численные результаты в досье не приведены.

В SGLang документ можно обрабатывать окнами страниц: уменьшение окна снижает пиковое потребление памяти, но может ухудшить объединение блоков, продолжающихся за границей окна, из-за потери контекста. В примере установлено 10 страниц на окно; настройка позволяет обработать весь документ одним окном.

В предоставленных сведениях цена и коммерческие условия не указаны. Для описанной конфигурации Transformers указаны Python 3.10, torch 2.13.0, transformers 4.52.1, huggingface-hub 0.36.0 и tokenizers 0.21.4; тестирование проводилось на NVIDIA A800 с 80 ГБ памяти. Это сведения о проверенной конфигурации, а не полный перечень совместимого оборудования.