Harness²

Harness² — бесплатный подключаемый фреймворк для разработки и оценки оболочек ИИ-агентов в открытой среде, где будущие задачи заранее неизвестны. Он улучшает промпты, инструменты, память и другие компоненты оболочки при неизменных весах модели.

На уровне задачи Harness² предлагает изменения, проверяет их на той же задаче и собирает улучшенную оболочку по различиям в поведении — эталонные ответы для этого цикла не нужны. После каждой задачи система сохраняет принятые оболочки и подтверждённые свидетельствами уроки, чтобы использовать их в дальнейшей работе.

• Редактирует восемь компонентов: от системного промпта и памяти до навыков, скриптов и плагинов.
• Поддерживает параллельную рекурсию для исследования кандидатов и последовательную — для поэтапного уточнения оболочки.
• Позволяет задавать бюджет улучшения параметром --k.
• Сохраняет результаты запусков и позволяет продолжить выполнение повтором команды.
• Показывает выбор задач без вызовов моделей через режим --dry-run.

Для запусков доступны JobBench, LAB и WorkBuddy-Bench; последний включает подмножества office, web и code. Работать можно с исполнителями OpenCode и Codex, а модельные запуски настраиваются через Vertex AI. Фреймворк рассчитан на задачи профессиональной, юридической, офисной, веб- и программной работы.

Код распространяется по лицензии Apache 2.0, но запуски бенчмарков с моделями могут повлечь расходы на API. Для установки нужны Linux, Python 3.12 и uv; модельные бенчмарки требуют дополнительных инструментов и зависимостей, состав которых зависит от выбранного бенчмарка. Локальную демонстрацию можно запустить без учётных данных модели.

Учитывайте и ограничения запуска: сеть исполнителя не ограничена, а перед оцениванием нужно настроить сетевые ограничения, чтобы агент не получил доступ к публичным рубрикам бенчмарков. Для отчёта параметры оценки должны совпадать с параметрами запуска улучшения.