LiteLLM

LiteLLM - это шлюз для работы с языковыми моделями, который решает главную головную боль разработчиков: как дать команде доступ к сотне разных LLM и при этом не утонуть в хаосе из разных API, форматов и счетов. Сервис работает как прокси-сервер, который принимает запросы в формате OpenAI и отправляет их к нужной модели - будь то Azure, Gemini, Bedrock, Anthropic или любой другой провайдер из более чем сотни поддерживаемых.

Главная фишка - унификация. Вместо того чтобы разбираться с особенностями каждого API, ты просто пишешь запрос в одном формате, а LiteLLM сам разруливает, куда его отправить. Это экономит месяцы работы, особенно когда выходят новые модели - вместо часов переделок команда получает доступ к свежим LLM буквально на следующий день.

Сервис умеет отслеживать расходы с точностью до конкретного пользователя, команды или проекта. Можно настроить бюджеты, лимиты запросов, теги для учета трат и автоматически логировать все в S3 или другие хранилища. Это позволяет честно списывать затраты с нужных отделов и не гадать, кто сколько потратил на эксперименты с моделями.

LiteLLM поддерживает фолбэки - если одна модель не ответила или легла, запрос автоматически уходит к резервной. Есть балансировка нагрузки, ограничения по количеству запросов в минуту, интеграция с инструментами для мониторинга вроде Langfuse, Arize Phoenix и Langsmith. Для больших команд доступна корпоративная версия с JWT-аутентификацией, SSO, аудитом логов и кастомными SLA.

Проект с открытым исходным кодом, его используют в Netflix и Lemonade, а количество запросов через сервис давно перевалило за миллиард. Можно развернуть как в облаке, так и на собственных серверах.