litellm-alternative

Go言語で書かれたAIゲートウェイ / AIコントロールプレーン / AIプロキシ。OpenAI、Anthropic、Gemini、Groq、xAI、Ollama、vLLMなどのためにOpenAIおよびAnthropic互換の統一APIを提供。観測性、ガードレール、ストリーミング、コスト追跡、インテリジェントルーティング、スティッキーセッション、フェイルオーバー、リアルタイムログ、使用量追跡を備えたLiteLLMの代替品。本番環境対応。