LiteLLM
OSS прокси-шлюз для 100+ провайдеров LLM через единый OpenAI-совместимый API: маршрутизация, бюджеты, fallback и логи.
Лучше всего для
Teams routing between multiple LLM vendors with unified billing, auditing, and gradual rollouts—a common enterprise AI gateway.
Менее удачно, если
Single-vendor setups, or teams wanting zero self-hosted middleware.
При сравнении
Vs OpenRouter / Portkey / Braintrust Proxy: LiteLLM is OSS-flexible with broad ecosystem; OpenRouter is consumer-grade routing; Portkey leans into guardrails and caching.
Короткий чеклист
- Design API key / multi-tenant isolation and auditing
- Define rate limits and fallback policies
- Monitor per-model cost/latency baselines
- Size self-hosted deployment or LiteLLM Cloud capacity
Ответы на частые запросы
LiteLLM vs OpenRouter—how to choose?
LiteLLM acts like an internal AI gateway in your VPC with policy/audit depth; OpenRouter is a consumer-friendly model marketplace. Many teams combine both—OpenRouter as catalog, LiteLLM as governance layer.
Когда пригодится
Краткое описание поможет понять, подходит ли инструмент. Если вариантов много, сначала определите частоту использования, бюджет и требования к данным.