GVS5H

GVS5H — исследовательский проект и код для оценки метода, при котором свежие экземпляры одной языковой модели декомпозируют задачу программирования и совместно работают через общую файловую систему с планом, заметками и текущим решением. Метод предназначен для улучшения результатов без дополнительного обучения.

В проекте есть режим multiagent с менеджером оркестрации и режим single для однопроходного базового сравнения. Запуск поддерживает параллельную обработку; результат оценивается по pass@1, а данные и рабочие пространства сохраняются в файлы проекта.

• Сравнивает совместную оркестрацию с однопроходным запуском.
• Запускает бенчмарк параллельно и выводит pass@1.
• Сохраняет результаты и рабочие пространства экспериментов.
• Подключает модели через провайдерские префиксы и API-ключи.
• Позволяет оценивать локально обслуживаемые модели с открытыми весами.

В эксперименте на 100 последних сложных задачах LiveCodeBench оркестрация Qwen3.8 Flash Next показала 93,0% pass@1 против 90,4% у Fable 5, а локальная Qwen3.8-27B улучшила результат с 66,8% до 92,4%. Это результаты конкретного исследования: эффект зависит от модели и может отсутствовать или быть отрицательным.

Для запуска нужны код проекта, uv, настройки бенчмарка и API-ключ выбранного провайдера; облачный запуск зависит от заданных лимита токенов и тайм-аута. Код распространяется бесплатно по лицензии MIT, но для отдельных материалов и файлов действуют другие лицензии, указанные в NOTICE.md. Стоимость запуска проекта отдельно не указана.