llm-gateway

कोडिंग कभी बंद न करें। मुफ़्त MIT AI गेटवे: एक एंडपॉइंट, 350 प्रोवाइडर (90+ मुफ़्त), 1200+ मॉडल Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax। Claude Code, Codex, Cursor, OpenCode, Cline & Copilot के साथ काम करता है। कोटा-अवेयर ऑटो-फॉलबैक, RTK+Caveman कंप्रेशन 15-95% टोकन बचाता है, MCP/A2A, डेस्कटॉप/PWA। 450+ योगदानकर्ताओं द्वारा निर्मित

सबसे तेज़ और सबसे हल्का AI Gateway। Python SDK के साथ Rust कोर। लागत ट्रैकिंग, गार्डrails, लोड संतुलन और लॉगिंग के साथ OpenAI (या मूल) प्रारूप में 100+ LLM API को कॉल करें [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

🦍 API और AI गेटवे

असीमित मुफ़्त AI कोडिंग। 40+ प्रदाताओं के माध्यम से Claude Code, Codex, Cursor, Cline, Copilot, Antigravity को मुफ़्त Claude/GPT/Gemini से कनेक्ट करें। ऑटो-फ़ॉलबैक, RTK -40% टोकन, कभी सीमा समाप्त नहीं होगी।

एकीकृत गार्डरेल्स के साथ एक अत्यधिक तेज़ AI Gateway। 1 तेज़ और अनुकूल API के साथ 1,600+ LLMs, 50+ AI Guardrails तक रूट करें।

अगली पीढ़ी का मल्टी-टेनेंट AI वन-स्टॉप समाधान। इनबिल्ट एडमिन और बिलिंग सिस्टम। 200+ मॉडल और 35+ प्रदाताओं के लिए एंटरप्राइज़-ग्रेड यूनिफाइड LLM गेटवे सपोर्ट, प्रायोरिटी-बेस्ड रूटिंग के साथ लोड बैलेंसिंग, लागत प्रबंधन, चैट शेयर, क्लाउड सिंक, क्रेडिट/सब्सक्रिप्शन बिलिंग, सभी फ़ाइल पार्सिंग, वेब सर्च, इन-बिल्ट मॉडल कैश।

अनुकूली लोड बैलेंसर, क्लस्टर मोड, गार्डरेल्स, 1000+ मॉडल समर्थन और 5k RPS पर <100 µs ओवरहेड के साथ सबसे तेज एंटरप्राइज़ AI गेटवे (LiteLLM से 50x तेज़)।

Plano एजेंटिक ऐप्स के लिए एक AI-नेटिव प्रॉक्सी सर्वर और डेटा प्लेन है। स्मार्ट LLM रूटिंग, ऑब्ज़र्वेबिलिटी, एजेंट ऑर्केस्ट्रेशन और गार्डरेल्स ताकि आप अपने एजेंट के मुख्य लॉजिक पर ध्यान केंद्रित रख सकें।

बुद्धिमान कुंजी रोटेशन के साथ बहु-चैनल AI प्रॉक्सी। 智能密钥轮询的多渠道 AI 代理。

One Hub All LLMs For You | व्यक्तिगत उपयोग के लिए LLM API एग्रीगेशन गेटवे

क्लाउड नेटिव, अति-उच्च प्रदर्शन AI और API गेटवे, LLM API प्रबंधन, वितरण प्रणाली, खुला प्लेटफ़ॉर्म, जो OpenAI, Azure, Anthropic Claude, Google Gemini, DeepSeek और अन्य सभी AI API का समर्थन करता है।

एक एकीकृत API इंटरफ़ेस के साथ कई प्रदाताओं में अपने LLM अनुरोधों को रूट, प्रबंधित और विश्लेषित करें।

AI कोडिंग एजेंटों के लिए नॉन-डिस्ट्रक्टिव कम्प्रेशन गेटवे। यह पहले टर्न पर 25% से लेकर लंबी या संतृप्त सत्रों में 85% तक टोकन बिल कम करता है, और एक ही संदर्भ विंडो में लगभग ~3× अधिक टर्न फिट करता है। हमारे ओपन-सोर्स कोड-नेटिव 4B मॉडल द्वारा संचालित। Claude Code, Cursor, Codex, OpenHands, और किसी भी BASE_URL एजेंट के लिए ड्रॉप-इन।

Go में लिखा गया AI गेटवे / AI कंट्रोल प्लेन / AI प्रॉक्सी। OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM और अन्य के लिए एकीकृत OpenAI-संगत और Anthropic-संगत API। ऑब्जर्वेबिलिटी, गार्डरेल्स, स्ट्रीमिंग, कॉस्ट ट्रैकिंग, इंटेलिजेंट रूटिंग, स्टिकी सत्र, फेलओवर, रीयल-टाइम लॉग और यूसेज ट्रैकिंग के साथ एक LiteLLM विकल्प। प्रोडक्शन के लिए तैयार।

अपने AI एजेंटों को डिबग करें

ओपन-सोर्स LLM राउटर और AI लागत अनुकूलक। सरल प्रॉम्प्ट को सस्ते/स्थानीय मॉडल पर और जटिल प्रॉम्प्ट को प्रीमियम मॉडल पर स्वचालित रूप से रूट करता है। Claude Code, Codex, Cursor, OpenClaw के लिए ड्रॉप-इन OpenAI-संगत प्रॉक्सी। AI API लागत पर 40-70% की बचत करता है। सेल्फ-होस्टेड, कोई बिचौलिया नहीं।

Claude Code CLI का उपयोग करके कुशल कोड इंटरैक्शन के लिए HTTP प्रॉक्सी के रूप में कार्य करने वाले CLI टूल Lynkr के साथ अपने वर्कफ़्लो को सुव्यवस्थित करें।