vllm

ट्रेनिंग, इन्फरेंस, स्ट्रीमिंग ASR, VAD, पंक्चुएशन, स्पीकर डायराइजेशन पाइपलाइन्स और OpenAI-संगत/MCP सर्विंग के लिए ओपन-सोर्स स्पीच रिकग्निशन टूलकिट।

Llama Cookbook में आपका स्वागत है! Llama के साथ निर्माण करने के लिए यह आपकी पसंदीदा मार्गदर्शिका है: इन्फेरेंस, फाइन-ट्यूनिंग, RAG के साथ शुरुआत करना। हम यह भी दिखाते हैं कि Llama मॉडल परिवार का उपयोग करके एंड-टू-एंड समस्याओं को कैसे हल किया जाए और विभिन्न प्रदाता सेवाओं पर उनका उपयोग कैसे किया जाए

✍🏻 सोर्स कोड डीप डाइव, सिस्टम डिज़ाइन और इंजीनियरिंग ब्लॉग्स | Halfrost-Field: सोर्स कोड विश्लेषण, सिस्टम डिज़ाइन और इंजीनियरिंग अभ्यास नोट्स

किसी भी AI मॉडल के लिए AI अनुसंधान और इंजीनियरिंग कौशल की व्यापक ओपन-सोर्स लाइब्रेरी। कौशल को पैकेज करें और आपका claude code/codex/gemini एजेंट पूर्ण क्षमता के साथ एक AI अनुसंधान एजेंट बन जाएगा। Orchestra Research द्वारा अनुरक्षित।

LMCache: सबसे तेज़ KV कैशे लेयर के साथ अपने LLM को सुपरचार्ज करें

Ray पर आधारित एक उपयोग में आसान, स्केलेबल और उच्च-प्रदर्शन वाला एजेंटिक RL फ्रेमवर्क (PPO, DAPO, REINFORCE++, VLM, TIS, vLLM, Ray और Async RL)

कोड की एक ही लाइन बदलकर किसी भी LLM के लिए GPT को स्वैप करें। Xinference आपको क्लाउड, ऑन-प्रिमाइस या अपने लैपटॉप पर ओपन-सोर्स, स्पीच और मल्टीमॉडल मॉडल चलाने की अनुमति देता है — यह सब एक एकीकृत, प्रोडक्शन-रेडी इन्फेरेंस API के माध्यम से।

एक डेटासेंटर स्केल डिस्ट्रिब्यूटेड इन्फेरेंस सर्विंग फ़्रेमवर्क

Mooncake, Kimi के लिए सर्विंग प्लेटफ़ॉर्म है, जो Moonshot AI द्वारा प्रदान की जाने वाली एक अग्रणी LLM सेवा है।

Kubernetes पर स्केलेबल, मल्टी-फ़्रेमवर्क तैनाती के लिए मानकीकृत वितरित जनरेटिव और प्रेडिक्टिव AI इन्फेरेंस प्लेटफ़ॉर्म

जटिल और अभिनव RAG पाइपलाइनों के निर्माण के लिए एक लो-कोड MCP फ्रेमवर्क

हाई-परफॉरमेंस AI मॉडल सर्विंग (vLLM, SGLang) और ऑन-डिमांड SSH-एक्सेसिबल GPU इंस्टेंस के लिए एक GPU क्लस्टर मैनेजर।

किसी भी स्थानीय OpenAI/Anthropic संगत सर्वर - llama.cpp, vllm, आदि के लिए विश्वसनीय मॉडल स्वैपिंग

विविध LLM अनुमान के लिए एक प्रोग्रामेबल मिक्सचर-ऑफ-मॉडल्स राउटर

📚 कोड के साथ बेहतरीन LLM/VLM इन्फेरेंस पेपर्स की क्यूरेटेड सूची: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, आदि।🎉

ML, LLM और Vision LLM के साथ संरचित डेटा निष्कर्षण, निर्देश कॉलिंग और एजेंटिक वर्कफ़्लो

सिस्टम इंजीनियरों के लिए Apple Silicon पर LLM इनफॉरेंस सिस्टम सीखें: एक छोटा vLLM + Qwen बनाएं।

AI एजेंटों के लिए कैस्केडिंग रनटाइम। एजेंट लूप के भीतर लागत, विलंबता, गुणवत्ता और नीति निर्णयों को अनुकूलित करें।

PaddlePaddle पर आधारित LLM और VLM के लिए उच्च-प्रदर्शन अनुमान और तैनाती टूलकिट

RamaLama एक ओपन-सोर्स डेवलपर टूल है जो किसी भी स्रोत से AI मॉडल की स्थानीय सर्विसिंग को सरल बनाता है और कंटेनरों की परिचित भाषा के माध्यम से उत्पादन में अनुमान के लिए उनके उपयोग को सुविधाजनक बनाता है।

Ascend पर vLLM के लिए सामुदायिक-रखरखाव वाला हार्डवेयर प्लगइन

VLLM, Sglang, llama.cpp, exllamav3 के लिए कंट्रोल पैनल

ओपन सोर्स निरंतर अनुमान बेंचमार्क अनुसंधान प्लेटफ़ॉर्म — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 और जल्द ही™ TPUv6e/v7/Trainium2/3

उच्च-सटीकता वाले लो-बिट LLM अनुमान के लिए एक SOTA परिमाणीकरण एल्गोरिदम, जिसे CPU/XPU/CUDA के लिए सहज रूप से अनुकूलित किया गया है, मल्टी-डेटाटाइप समर्थन और vLLM, SGLang, और Transformers के साथ पूर्ण संगतता के साथ।

Apple Silicon के लिए हाई-परफॉरमेंस OpenAI और Anthropic संगत LLM इन्फेरेंस सर्वर। नेटिव MLX, निरंतर बैचिंग, मल्टीमॉडल मॉडल, MCP टूल कॉलिंग, और Claude Code समर्थन।

डायनेमिक GPU शेयरिंग और उससे आगे के लिए वर्चुअलाइज्ड इलास्टिक KV कैश

Kubernetes के लिए AI Inference Operator। प्रोडक्शन में ML मॉडल को सर्व करने का सबसे आसान तरीका। VLM, LLM, एम्बेडिंग और स्पीच-टू-टेक्स्ट का समर्थन करता है।

Nvidia, AMD, Intel GPU और Intel/AMD/Apple CPU के लिए HF, vLLM और SGLang के माध्यम से HW एक्सीलरेशन समर्थन के साथ LLM मॉडल क्वांटाइजेशन (कंप्रेशन) टूलकिट।

🔒 एंटरप्राइज-ग्रेड API गेटवे जो आपको प्रति API कुंजी लागत या दर सीमा की निगरानी और लागू करने में मदद करता है। प्रति उपयोगकर्ता, एप्लिकेशन या वातावरण में बारीक पहुंच नियंत्रण और निगरानी प्राप्त करें। OpenAI, Azure OpenAI, Anthropic, vLLM, और ओपन-सोर्स LLM का समर्थन करता है।

vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क