AgentBench
Ученые создали полигон для проверки искусственного интеллекта на профпригодность
Abliteration.ai — это API к языковой модели без встроенных отказов плюс шлюз политик, который решает, что этой модели можно, а что нельзя. Задумано для команд, которым стандартные LLM мешают работать: red team и лаборатории кибербезопасности, специалисты по trust & safety, ML-исследователи, генераторы обучающих датасетов, подрядчики в оборонке и госсекторе. Модель ответит на прикладные вопросы по безопасности и исследованиям, а рамки задаёт сама команда — через свою политику.
Подключение сводится к смене base URL. API совместим с OpenAI Chat Completions и Anthropic Messages, так что существующий SDK продолжит работать — меняете ключ и адрес https://api.abliteration.ai/v1, переписывать код не придётся. В консоли есть Playground со стримингом, документация и настройка обычных параметров: системный промпт, temperature, max tokens, top-p.
Отдельный блок — генерация обучающих данных. Описываете задачу словами, выбираете формат, и сервис соберёт размеченный датасет: диалоги для SFT, preference-пары, строки для эвалов, примеры для классификаторов и те пограничные случаи, которые другие модели писать откажутся. Выходные данные проходят проверку по схеме, выгружаются в JSONL под обучение OpenAI или сразу на Hugging Face. Собирать можно большими партиями — в демо на сайте, например, из описания задачи получается датасет на десять тысяч строк.
Policy Gateway — та часть, из-за которой всё это можно нести в комплаенс. Политики описываются как код, для каждого проекта свой ключ, а любой запрос к модели получит одно из пяти решений:
Каждое решение сопровождается кодом причины и уходит в поток аудита — Splunk, Datadog, Elastic или ваш собственный S3. Хранение данных по умолчанию отключено, так что промпты не остаются на стороне сервиса.
Модель можно попробовать бесплатно, а по корпоративным сценариям есть прямой контакт с командой.
/policy/chat/completions, указывая ваш policy_id, policy_user и, при необходимости, ID проекта. Шлюз применяет ваши правила, квоты и настройки развёртывания, а также возвращает метаданные решения для аудита.
/v1/chat/completions с той же структурой запросов и ответов, поэтому большинство клиентов OpenAI работают после смены базового URL и API-ключа.
Ученые создали полигон для проверки искусственного интеллекта на профпригодность
Позволяет проводить исследования в области ML с помощью наборов данных, инструментов, моделей и ресурсов.
Искусственный интеллект научился проводить глубокие исследования как настоящий учёный
Letta научит ваших ИИ-агентов помнить всё и учиться на ошибках прошлого