LiteLLM — единый интерфейс для работы с разными LLM

Компания Selectel в блоге Habr AI представила LiteLLM — небольшую, но мощную библиотеку, которая унифицирует взаимодействие с различными крупными языковыми моделями (LLM). Вместо того чтобы писать отдельные клиентские обёртки для OpenAI, Anthropic, Cohere, Google Gemini и других провайдеров, разработчики могут использовать один набор функций, которые автоматически подбирают нужный эндпоинт, формат запроса и обработку ответа.

Ключевые возможности LiteLLM:

• Unified API – единый Python‑интерфейс completion, chat_completion и embedding, совместимый со всеми поддерживаемыми провайдерами.
• Автоматическое роутирование – в конфигурационном файле задаются приоритеты моделей, лимиты расходов и fallback‑механизмы.
• Трекер расходов – встроенный мониторинг токенов и стоимости запросов, что удобно для бюджетного контроля.
• Поддержка кастомных провайдеров – возможность добавить собственный HTTP‑клиент через простую регистрацию.
• Open‑source – проект размещён на GitHub под лицензией MIT, принимает pull‑request’ы и уже собрал более 3 000 звёзд.

LiteLLM уже интегрирован в несколько внутренних проектов Selectel, где он заменил набор разрозненных SDK и сократил объём кода на 40 %. Авторы отмечают, что библиотека упрощает тестирование новых моделей: достаточно поменять имя провайдера в конфиге и запустить те же тесты.

Для начала работы достаточно установить пакет через pip install litellm, добавить файл litellm.yaml с описанием провайдеров и использовать функции из litellm import completion. Подробную документацию и примеры можно найти в репозитории проекта.

Что дальше? Разработчики планируют добавить поддержку локальных моделей (например, LLaMA) и расширить возможности асинхронных запросов. По мере роста экосистемы LLM, такие унификаторы становятся критически важными для быстрой и безопасной интеграции новых возможностей.