AgentBench - это открытый бенчмарк для оценки языковых моделей в роли автономных агентов. Его создали в университете Цинхуа, чтобы проверить, насколько хорошо LLM справляются с реальными задачами в разных средах - от работы с операционной системой до взаимодействия с базами данных и веб-интерфейсами.
Сервис включает восемь разнообразных окружений: пять новых (работа с ОС, базами данных, графами знаний, цифровая карточная игра и головоломки на нестандартное мышление) и три адаптированных из существующих датасетов (домашние дела, веб-шопинг, веб-браузинг). Это позволяет протестировать модели в условиях, максимально приближенных к реальным сценариям использования.
В октябре 2024 года вышла обновленная версия AgentBench FC, которая использует формат function calling и полностью контейнеризованное развертывание через Docker Compose. Теперь можно запустить все тестовые окружения одной командой, что упрощает процесс оценки моделей. Также появилась расширенная версия VisualAgentBench для тестирования мультимодальных моделей в визуальных средах - от управления роботами до работы с GUI и веб-дизайном.
AgentBench предоставляет два набора данных для каждой задачи: Dev и Test. Результаты тестирования публикуются в открытом лидерборде, где можно сравнить производительность разных моделей. Весь код доступен на GitHub под открытой лицензией, что делает бенчмарк удобным инструментом для исследователей и разработчиков, которые работают над созданием AI-агентов.
Интеллектуальный помощник для кодинга со встроенной интеграцией в VS Code. Работает с полным доступом к репозиториям, ускоряя разработку и автоматизируя рутинные задачи программирования.
Сервис для улучшения качества изображений с помощью ИИ. Позволяет увеличить разрешение фото в 2 или 4 раза, повысить четкость и детализацию за считанные секунды.
Одна из самых популярных нейросетей для генерации изображений и видео
Этот бесплатный курс “Как упростить жизнь с помощью нейросетей” на платформе Тинькофф Журнала поможет вам разобраться, что такое нейросети и как передать им часть своих задач, чтобы превратить искусственный интеллект в помощника и упростить свою жизнь.
Блог