AgentBench - это открытый бенчмарк для оценки языковых моделей в роли автономных агентов. Его создали в университете Цинхуа, чтобы проверить, насколько хорошо LLM справляются с реальными задачами в разных средах - от работы с операционной системой до взаимодействия с базами данных и веб-интерфейсами.
Сервис включает восемь разнообразных окружений: пять новых (работа с ОС, базами данных, графами знаний, цифровая карточная игра и головоломки на нестандартное мышление) и три адаптированных из существующих датасетов (домашние дела, веб-шопинг, веб-браузинг). Это позволяет протестировать модели в условиях, максимально приближенных к реальным сценариям использования.
В октябре 2024 года вышла обновленная версия AgentBench FC, которая использует формат function calling и полностью контейнеризованное развертывание через Docker Compose. Теперь можно запустить все тестовые окружения одной командой, что упрощает процесс оценки моделей. Также появилась расширенная версия VisualAgentBench для тестирования мультимодальных моделей в визуальных средах - от управления роботами до работы с GUI и веб-дизайном.
AgentBench предоставляет два набора данных для каждой задачи: Dev и Test. Результаты тестирования публикуются в открытом лидерборде, где можно сравнить производительность разных моделей. Весь код доступен на GitHub под открытой лицензией, что делает бенчмарк удобным инструментом для исследователей и разработчиков, которые работают над созданием AI-агентов.
Платформа юридической аналитики, использующая искусственный интеллект для обнаружения, оценки и решения правовых рисков, соединяющая адвокатов с перспективными делами и потенциальными клиентами.
Инструмент для инвестиций с алгоритмами машинного обучения, который анализирует рынок, отслеживает портфель и генерирует идеи для сделок на основе данных.
Нейросеть, которая пишет полноценные песни с вокалом и музыкой по текстовому описанию
Блог