# LiteLLM

> Единый ключ ко всем моделям: как взять под контроль расходы на ИИ

Открытый AI-гейтвей: разверните у себя и обращайтесь к 1800+ моделям через один OpenAI-совместимый ключ — с бюджетами, лимитами и наблюдаемостью.

- Категории: Opensource, ИИ-агент, Инструменты разработчика
- Работает из России: Да
- Бизнес-модель: Freemium
- Модели: GPT-5.5 Pro, GPT-5, GPT-5 mini, Claude Opus 4.8, Claude Sonnet 4.5, Claude Haiku 4.5, Claude Opus 4.1, Gemini 2.5 Pro, Gemini 2.5 Flash, Llama 4 Maverick, Mistral Large, text-embedding-3-large
- Сайт сервиса: https://www.litellm.ai/
- Карточка в каталоге: https://ailibri.com/litellm
- Обновлено: 2026-09-01

## Описание

LiteLLM — это открытый AI-гейтвей (он же LLM-прокси), который прячет весь ваш зоопарк моделей за одним ключом с OpenAI-совместимым API. Нужен платформенным командам и разработчикам: чтобы приложения, агенты и скрипты обращались к 1800+ моделям от 140+ провайдеров через один эндпоинт, а расходы и доступы контролировались из одной панели. Ставится на своё железо — вплоть до полностью изолированного контура без интернета.

Основная идея простая: приложение шлёт запрос в LiteLLM, а гейтвей сам решает, в какой провайдер его отправить. Хотите поменять GPT на Claude или Gemini — правится конфиг, код приложения остаётся как был. Внутренние, дообученные и self-hosted модели подключаются туда же и живут за тем же ключом. Кроме LLM через гейтвей можно проксировать агентов и MCP-серверы, так что вся инфраструктура доступна по одному адресу.

Управление построено вокруг виртуальных ключей, команд и организаций. Для каждого ключа задаются лимиты TPM и RPM, бюджет на месяц, список разрешённых моделей и срок жизни. Бюджеты можно резать по тегам — отдельно прод, отдельно стейджинг, отдельно эвалы. Вход через SSO, права разграничиваются по команде, проекту или приложению, а секреты берутся из того менеджера, который у вас уже используется. Всё, что происходит с ключами и настройками, попадёт в аудит-лог: кто создал, кто обновил, кто ротировал.

Наблюдаемость даёт картину по запросам, токенам и деньгам в разрезе моделей и команд: сколько ушло на gpt-5, сколько на Claude, где просадка по успешным ответам, какой деплой деградировал. Роутинг поддерживает балансировку нагрузки и фолбэки — если один провайдер отвалился, запрос уйдёт на резервный. На том же роутинге держится и экономия: Auto Routing отправляет простые промпты на дешёвые модели, а сложные — на сильные, а маршрутизация по цене выбирает самый дешёвый деплой, который справится с запросом. Ответы кэшируются, в том числе семантически, в Redis, S3 или GCS, так что за один и тот же ответ вы не платите дважды, а сжатие промптов позволяет получить тот же результат меньшим числом токенов. Отдельный блок — guardrails: маскирование PII, детект промпт-инъекций, поиск секретов в тексте, модерация и фильтры токсичности. Они подключаются как pre-call, during-call или post-call и включаются по одному, для нужных ключей.

Код лежит на GitHub и открыт целиком, поднять прокси можно за несколько минут. Начать проще всего с официального Docker-образа — есть варианты с базой в комплекте и non-root; для кластеров подойдут Helm-чарт или Terraform-модуль, а в AWS, GCP и Azure гейтвей разворачивается в один клик. Работает он на ваших Postgres и Redis и масштабируется автоскейлингом Kubernetes. Есть бесплатный старт без привязки карты и коммерческие условия для команд — их обсуждают с продажами. Среди пользователей — инженерные команды NVIDIA, Netflix, Okta, Lemonade и AT&T.

## Похожие сервисы в каталоге

- [Hermes Agent](https://ailibri.com/hermes-agent): Hermes Agent — агент с открытым исходным кодом от NousResearch, который развивается вместе с вами. Поддержка инструментов, веб-исследований и автоматизации зада
- [Openclaw Infra](https://ailibri.com/openclaw-infra): Openclaw Infra - Docker-инфраструктура для запуска AI-агентов OpenClaw с поддержкой Telegram. Простое развертывание нескольких агентов на одном сервере.
- [Kimi API Platform](https://ailibri.com/kimi-api-platform): Kimi K3 — флагманская модель с 2,8 трлн параметров, контекстом 1M токенов, поддержкой изображений и видео, Tool Calling. API для кодинга и работы со знаниями.
- [DeepSeek Harness](https://ailibri.com/deepseek-harness): Открытый agent harness с плагинной архитектурой, веб-интерфейсом, запуском через npm или из исходников, бесплатной лицензией MIT.
- [Claude Commerce Agents](https://ailibri.com/claude-commerce-agents): Открытый референсный репозиторий Anthropic: каркас покупательского и торгового агентов на Claude, четыре демо-вертикали и плагин для Claude Code.
- [Agent Plugins](https://ailibri.com/agent-plugins): Открытый формат упаковки плагинов для AI-агентов: манифест plugin.json, Agent Skills, MCP-серверы и клиентские расширения. Спецификация 1.0.0 и JSON-схемы.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com