LiteLLM

OSS の LLM 代理ゲートウェイ。OpenAI 互換 API 一本で百超のベンダを統合、ルーティング/予算/フォールバック/ログまで。

推論 / ホスティング开源代理聚合
公式サイトへ新しいタブで開きます

向いている用途

Teams routing between multiple LLM vendors with unified billing, auditing, and gradual rollouts—a common enterprise AI gateway.

あまり向かない場合

Single-vendor setups, or teams wanting zero self-hosted middleware.

比較のヒント

Vs OpenRouter / Portkey / Braintrust Proxy: LiteLLM is OSS-flexible with broad ecosystem; OpenRouter is consumer-grade routing; Portkey leans into guardrails and caching.

チェックリスト

  • Design API key / multi-tenant isolation and auditing
  • Define rate limits and fallback policies
  • Monitor per-model cost/latency baselines
  • Size self-hosted deployment or LiteLLM Cloud capacity

検索意図向け Q&A

LiteLLM vs OpenRouter—how to choose?

LiteLLM acts like an internal AI gateway in your VPC with policy/audit depth; OpenRouter is a consumer-friendly model marketplace. Many teams combine both—OpenRouter as catalog, LiteLLM as governance layer.

活用シーン

概要がニーズに合うかの目安になります。類似ツールが多い場合は利用頻度、予算、データの取り扱いを踏まえて選んでください。

関連ツール