Raytone — это шлюз и «контрольная панель» для работы с языковыми моделями через один API. Сервис возьмёт на себя маршрутизацию запросов между моделями, лимиты на расходы, наблюдаемость каждого вызова и журнал решений по политикам. Нужен командам, которые уже строят агентов и продукты на LLM и хотят понимать, куда именно уходят токены и деньги.
К каждому вызову сервис привяжет имя, бюджет, маршрут и запись в журнале. Все четыре вещи станут управляемыми в рамках одного API для моделей, опубликованных в актуальном каталоге. Сейчас там провайдеры Zhipu и Kimi — то есть модели вроде glm-5.1 и kimi-k2.6 доступны через общую точку входа.
Что можно настроить и увидеть:
- маршрутизацию по модели, бюджету и состоянию апстрима — без переписывания кода приложения;
- бюджеты и квоты на команду, проект или ключ: алерт на 80%, жёсткий стоп на 100%, чтобы перерасход останавливался до выставления счёта;
- наблюдаемость — каждый вызов с разбивкой по модели, ключу, задержке, количеству токенов и посчитанной стоимости; отчёты можно выгрузить из консоли;
- аудит: метаданные запроса, выбранный маршрут и решения политик фиксируются как цепочка событий с хешами — при этом содержимое промптов сервис хранить не обещает.
Подключение задумано как обратимый тест. Для документированных OpenAI-совместимых эндпоинтов достаточно поменять ключ, base URL на api.raytone.ai и имя модели, а потом прогнать проверку совместимости. Дальше настраиваются политики — бюджеты, правила маршрутизации, уровни комплаенса — по проектам и ключам. И каждый вызов будет оставлять след: request log, расход токенов, атрибуция стоимости.
Сценарий с 184 320 токенами на главной — иллюстрация при разбивке 75% ввод / 25% вывод по опубликованным ценам, а не результат бенчмарка; веса маршрутизации в схеме тоже помечены как примерные. Для проверки есть публичный runner с методикой и тремя кейсами, который можно запустить со своим ключом. Актуальные идентификаторы моделей, контекстные лимиты, цены за токены, лимиты API, статус сервиса и правила по кредитам и возвратам вынесены в открытые разделы — посмотреть их можно до оплаты.
Блог