AgentBench

AgentBench - это открытый бенчмарк для оценки языковых моделей в роли автономных агентов. Его создали в университете Цинхуа, чтобы проверить, насколько хорошо LLM справляются с реальными задачами в разных средах - от работы с операционной системой до взаимодействия с базами данных и веб-интерфейсами.

Сервис включает восемь разнообразных окружений: пять новых (работа с ОС, базами данных, графами знаний, цифровая карточная игра и головоломки на нестандартное мышление) и три адаптированных из существующих датасетов (домашние дела, веб-шопинг, веб-браузинг). Это позволяет протестировать модели в условиях, максимально приближенных к реальным сценариям использования.

В октябре 2024 года вышла обновленная версия AgentBench FC, которая использует формат function calling и полностью контейнеризованное развертывание через Docker Compose. Теперь можно запустить все тестовые окружения одной командой, что упрощает процесс оценки моделей. Также появилась расширенная версия VisualAgentBench для тестирования мультимодальных моделей в визуальных средах - от управления роботами до работы с GUI и веб-дизайном.

AgentBench предоставляет два набора данных для каждой задачи: Dev и Test. Результаты тестирования публикуются в открытом лидерборде, где можно сравнить производительность разных моделей. Весь код доступен на GitHub под открытой лицензией, что делает бенчмарк удобным инструментом для исследователей и разработчиков, которые работают над созданием AI-агентов.