sglang
sglang टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
मिलते-जुलते विषय
वे विषय जो अक्सर एक ही रिपॉजिटरी पर sglang के साथ आते हैं।
हाल में उभरे
पिछले 90 दिनों में बनी और sglang टैग वाली रिपॉजिटरी।
- #1
LLM इन्फरेंस सर्विंग और ऑप्टिमाइज़ेशन के लिए 10-सप्ताह, 30-मिनट-प्रति-दिन का रोडमैप। vLLM, SGLang, क्वांटाइज़ेशन, स्पेक्युलेटिव डिकोडिंग, बेंचमार्किंग।
★ 880
- #1
कोड की एक ही लाइन बदलकर किसी भी LLM के लिए GPT को स्वैप करें। Xinference आपको क्लाउड, ऑन-प्रिमाइस या अपने लैपटॉप पर ओपन-सोर्स, स्पीच और मल्टीमॉडल मॉडल चलाने की अनुमति देता है — यह सब एक एकीकृत, प्रोडक्शन-रेडी इन्फेरेंस API के माध्यम से।
★ 9,537+9पिछले 7 दिनों में स्टार का बदलाव - #2★ 7,952+44पिछले 7 दिनों में स्टार का बदलाव
- #3
Mooncake, Kimi के लिए सर्विंग प्लेटफ़ॉर्म है, जो Moonshot AI द्वारा प्रदान की जाने वाली एक अग्रणी LLM सेवा है।
★ 6,470+40पिछले 7 दिनों में स्टार का बदलाव - #4
OpenClaw-RL: बस बात करके किसी भी एजेंट को प्रशिक्षित करें
★ 5,665+7पिछले 7 दिनों में स्टार का बदलाव - #5
हाई-परफॉरमेंस AI मॉडल सर्विंग (vLLM, SGLang) और ऑन-डिमांड SSH-एक्सेसिबल GPU इंस्टेंस के लिए एक GPU क्लस्टर मैनेजर।
★ 5,593+21पिछले 7 दिनों में स्टार का बदलाव - #6
VLLM, Sglang, llama.cpp, exllamav3 के लिए कंट्रोल पैनल
★ 1,749+7पिछले 7 दिनों में स्टार का बदलाव - #7
ओपन सोर्स निरंतर अनुमान बेंचमार्क अनुसंधान प्लेटफ़ॉर्म — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 और जल्द ही™ TPUv6e/v7/Trainium2/3
★ 1,613+33पिछले 7 दिनों में स्टार का बदलाव - #8
उच्च-सटीकता वाले लो-बिट LLM अनुमान के लिए एक SOTA परिमाणीकरण एल्गोरिदम, जिसे CPU/XPU/CUDA के लिए सहज रूप से अनुकूलित किया गया है, मल्टी-डेटाटाइप समर्थन और vLLM, SGLang, और Transformers के साथ पूर्ण संगतता के साथ।
★ 1,599+8पिछले 7 दिनों में स्टार का बदलाव - #9
MOSS-TTSD एक स्पोकन डायलॉग जनरेशन मॉडल है जिसे expressive multi-speaker synthesis के लिए डिज़ाइन किया गया है। इसमें long-context modeling, flexible speaker control और multilingual support शामिल है, साथ ही यह छोटे ऑडियो संदर्भों से zero-shot voice cloning को सक्षम बनाता है।
★ 1,394+4पिछले 7 दिनों में स्टार का बदलाव - #10★ 1,275+130पिछले 7 दिनों में स्टार का बदलाव
- #11
Nvidia, AMD, Intel GPU और Intel/AMD/Apple CPU के लिए HF, vLLM और SGLang के माध्यम से HW एक्सीलरेशन समर्थन के साथ LLM मॉडल क्वांटाइजेशन (कंप्रेशन) टूलकिट।
★ 1,248+0पिछले 7 दिनों में स्टार का बदलाव - #12
Speculative decoding मॉडल को आसानी से ट्रेन करें और उन्हें SGLang सर्विंग में सुचारू रूप से पोर्ट करें।
★ 1,144+14पिछले 7 दिनों में स्टार का बदलाव - #13★ 1,108+3पिछले 7 दिनों में स्टार का बदलाव
- #14
SGLang-Omni, TTS, ASR, स्पीच और ओम्नी मॉडल के लिए उच्च-प्रदर्शन सर्विंग को सक्षम बनाता है।
★ 1,105+130पिछले 7 दिनों में स्टार का बदलाव - #15★ 933+15पिछले 7 दिनों में स्टार का बदलाव
- #16
LLM इन्फरेंस सर्विंग और ऑप्टिमाइज़ेशन के लिए 10-सप्ताह, 30-मिनट-प्रति-दिन का रोडमैप। vLLM, SGLang, क्वांटाइज़ेशन, स्पेक्युलेटिव डिकोडिंग, बेंचमार्किंग।
★ 880+76पिछले 7 दिनों में स्टार का बदलाव - #17
SparkTTS, OrpheusTTS आदि मॉडल के आधार पर, उच्च गुणवत्ता वाली चीनी वाक् संश्लेषण और ध्वनि क्लोनिंग सेवाएँ प्रदान करता है।
★ 613+1पिछले 7 दिनों में स्टार का बदलाव - #18
Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.
★ 510—पिछले 7 दिनों में स्टार का बदलाव - #19
Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton
★ 506—पिछले 7 दिनों में स्टार का बदलाव
