LiteLLM — это открытый AI-гейтвей (он же LLM-прокси), который прячет весь ваш зоопарк моделей за одним ключом с OpenAI-совместимым API. Нужен платформенным командам и разработчикам: чтобы приложения, агенты и скрипты обращались к 1800+ моделям от 140+ провайдеров через один эндпоинт, а расходы и доступы контролировались из одной панели. Ставится на своё железо — вплоть до полностью изолированного контура без интернета.
Основная идея простая: приложение шлёт запрос в LiteLLM, а гейтвей сам решает, в какой провайдер его отправить. Хотите поменять GPT на Claude или Gemini — правится конфиг, код приложения остаётся как был. Внутренние, дообученные и self-hosted модели подключаются туда же и живут за тем же ключом. Кроме LLM через гейтвей можно проксировать агентов и MCP-серверы, так что вся инфраструктура доступна по одному адресу.
Управление построено вокруг виртуальных ключей, команд и организаций. Для каждого ключа задаются лимиты TPM и RPM, бюджет на месяц, список разрешённых моделей и срок жизни. Бюджеты можно резать по тегам — отдельно прод, отдельно стейджинг, отдельно эвалы. Вход через SSO, права разграничиваются по команде, проекту или приложению, а секреты берутся из того менеджера, который у вас уже используется. Всё, что происходит с ключами и настройками, попадёт в аудит-лог: кто создал, кто обновил, кто ротировал.
Наблюдаемость даёт картину по запросам, токенам и деньгам в разрезе моделей и команд: сколько ушло на gpt-5, сколько на Claude, где просадка по успешным ответам, какой деплой деградировал. Роутинг поддерживает балансировку нагрузки и фолбэки — если один провайдер отвалился, запрос уйдёт на резервный. На том же роутинге держится и экономия: Auto Routing отправляет простые промпты на дешёвые модели, а сложные — на сильные, а маршрутизация по цене выбирает самый дешёвый деплой, который справится с запросом. Ответы кэшируются, в том числе семантически, в Redis, S3 или GCS, так что за один и тот же ответ вы не платите дважды, а сжатие промптов позволяет получить тот же результат меньшим числом токенов. Отдельный блок — guardrails: маскирование PII, детект промпт-инъекций, поиск секретов в тексте, модерация и фильтры токсичности. Они подключаются как pre-call, during-call или post-call и включаются по одному, для нужных ключей.
Код лежит на GitHub и открыт целиком, поднять прокси можно за несколько минут. Начать проще всего с официального Docker-образа — есть варианты с базой в комплекте и non-root; для кластеров подойдут Helm-чарт или Terraform-модуль, а в AWS, GCP и Azure гейтвей разворачивается в один клик. Работает он на ваших Postgres и Redis и масштабируется автоскейлингом Kubernetes. Есть бесплатный старт без привязки карты и коммерческие условия для команд — их обсуждают с продажами. Среди пользователей — инженерные команды NVIDIA, Netflix, Okta, Lemonade и AT&T.
Блог