# AgentBench

> Ученые создали полигон для проверки искусственного интеллекта на профпригодность

Комплексный бенчмарк для оценки больших языковых моделей в качестве агентов. Включает тестирование на задачах alfworld, dbbench, knowledgegraph, os_interaction

- Категории: Opensource, Бесплатные, Инструменты разработчика, Исследования
- Работает из России: Да
- Бизнес-модель: Бесплатно
- Сайт сервиса: https://github.com/THUDM/AgentBench
- Карточка в каталоге: https://ailibri.com/agentbench
- Обновлено: 2026-05-04

## Описание

AgentBench - это открытый бенчмарк для оценки языковых моделей в роли автономных агентов. Его создали в университете Цинхуа, чтобы проверить, насколько хорошо LLM справляются с реальными задачами в разных средах - от работы с операционной системой до взаимодействия с базами данных и веб-интерфейсами.


Сервис включает восемь разнообразных окружений: пять новых (работа с ОС, базами данных, графами знаний, цифровая карточная игра и головоломки на нестандартное мышление) и три адаптированных из существующих датасетов (домашние дела, веб-шопинг, веб-браузинг). Это позволяет протестировать модели в условиях, максимально приближенных к реальным сценариям использования.


В октябре 2024 года вышла обновленная версия AgentBench FC, которая использует формат function calling и полностью контейнеризованное развертывание через Docker Compose. Теперь можно запустить все тестовые окружения одной командой, что упрощает процесс оценки моделей. Также появилась расширенная версия VisualAgentBench для тестирования мультимодальных моделей в визуальных средах - от управления роботами до работы с GUI и веб-дизайном.


AgentBench предоставляет два набора данных для каждой задачи: Dev и Test. Результаты тестирования публикуются в открытом лидерборде, где можно сравнить производительность разных моделей. Весь код доступен на GitHub под открытой лицензией, что делает бенчмарк удобным инструментом для исследователей и разработчиков, которые работают над созданием AI-агентов.

## Похожие сервисы в каталоге

- [Open Deep Research](https://ailibri.com/open-deep-research): Открытый AI-агент для глубоких исследований на базе LangChain. Работает с разными моделями, поисковыми инструментами и MCP-серверами. Топ-6 в Deep Research Benc
- [GeoAgent](https://ailibri.com/geoagent): GeoAgent - модель для геолокации с обучением через подкрепление. Использует датасет GeoSeek с разметкой экспертов, geo-similarity reward и consistency reward дл
- [InSpatio-WorldFM](https://ailibri.com/inspatio-worldfm): InSpatio-WorldFM - open-source модель генерации кадров для пространственного интеллекта в реальном времени с 3D-консистентностью на потребительских GPU
- [Letta](https://ailibri.com/letta): Создавайте AI-агентов с долговременной памятью, которые учатся и совершенствуются. Решение проблемы памяти ИИ для разработки умных ботов и помощников.
- [Laion](https://ailibri.com/laion): Некоммерческая организация, предоставляющая бесплатные открытые датасеты для машинного обучения с миллиардами изображений и текстовых пар.
- [AutoResearchClaw](https://ailibri.com/autoresearchclaw): AutoResearchClaw - автономный AI-инструмент для создания научных работ от идеи до готовой статьи. Просто опишите тему исследования и получите полноценную paper.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com