llm-serving
llm-serving टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
मिलते-जुलते विषय
वे विषय जो अक्सर एक ही रिपॉजिटरी पर llm-serving के साथ आते हैं।
हाल में उभरे
पिछले 90 दिनों में बनी और llm-serving टैग वाली रिपॉजिटरी।
- #1
Qwen3.8-27B (bf16) on a free Kaggle TPU: OpenAI-compatible endpoint, 262k context, ~130 tok/s, works with Claude Code, Codex, Opencode and Pi.
★ 142
- #1★ 90,817+402पिछले 7 दिनों में स्टार का बदलाव
- #2
Ray एक AI कंप्यूट इंजन है। Ray में ML वर्कलोड को तेज करने के लिए एक कोर डिस्ट्रिब्यूटेड रनटाइम और AI लाइब्रेरी का एक सेट शामिल है।
★ 43,688+41पिछले 7 दिनों में स्टार का बदलाव - #3
यह प्रोजेक्ट बड़े मॉडल से संबंधित तकनीकी सिद्धांतों और व्यावहारिक अनुभवों (बड़े मॉडल इंजीनियरिंग, बड़े मॉडल एप्लिकेशन लैंडिंग) को साझा करने के लिए है।
★ 24,995+21पिछले 7 दिनों में स्टार का बदलाव - #4
TensorRT LLM उपयोगकर्ताओं को लार्ज लैंग्वेज मॉडल्स (LLMs) को परिभाषित करने के लिए एक उपयोग में आसान Python API प्रदान करता है और NVIDIA GPUs पर कुशलतापूर्वक इन्फरेंस करने के लिए अत्याधुनिक ऑप्टिमाइज़ेशन का समर्थन करता है। TensorRT LLM में Python और C++ रनटाइम बनाने के लिए घटक भी शामिल हैं जो इन्फरेंस निष्पादन को बेहतर तरीके से ऑर्केस्ट्रेट करते हैं।
★ 14,536+38पिछले 7 दिनों में स्टार का बदलाव - #5
क्लाउड में किसी भी ओपन-सोर्स LLM, जैसे DeepSeek और Llama, को OpenAI-संगत API एंडपॉइंट के रूप में चलाएं।
★ 12,524+1पिछले 7 दिनों में स्टार का बदलाव - #6
फ्रंटियर टीमों के लिए AI कंप्यूट प्लेटफॉर्म। SkyPilot बिखरे हुए AI कंप्यूट को एक AI सुपरकंप्यूटर में बदल देता है, जिससे फ्रंटियर AI टीमें तेजी से कस्टम इंटेलिजेंस बना सकती हैं।
★ 10,550+16पिछले 7 दिनों में स्टार का बदलाव - #7
AI ऐप्स और मॉडल सर्व करने का सबसे आसान तरीका - मॉडल इन्फेरेंस API, जॉब कतारें, LLM ऐप्स, मल्टी-मॉडल पाइपलाइन और बहुत कुछ बनाएँ!
★ 8,817+4पिछले 7 दिनों में स्टार का बदलाव - #8
हाई-परफॉरमेंस AI मॉडल सर्विंग (vLLM, SGLang) और ऑन-डिमांड SSH-एक्सेसिबल GPU इंस्टेंस के लिए एक GPU क्लस्टर मैनेजर।
★ 5,593+21पिछले 7 दिनों में स्टार का बदलाव - #9
Superduper: कस्टम AI एप्लिकेशन और एजेंटों के निर्माण के लिए एंड-टू-एंड फ्रेमवर्क।
★ 5,318+1पिछले 7 दिनों में स्टार का बदलाव - #10★ 3,827+1पिछले 7 दिनों में स्टार का बदलाव
- #11
PaddlePaddle पर आधारित LLM और VLM के लिए उच्च-प्रदर्शन अनुमान और तैनाती टूलकिट
★ 3,714+3पिछले 7 दिनों में स्टार का बदलाव - #12
बड़े भाषा मॉडल के लिए उच्च-प्रदर्शन अनुमान फ्रेमवर्क, जो दक्षता, लचीलेपन और उपलब्धता पर केंद्रित है।
★ 2,997-1पिछले 7 दिनों में स्टार का बदलाव - #13
Ascend पर vLLM के लिए सामुदायिक-रखरखाव वाला हार्डवेयर प्लगइन
★ 2,749+19पिछले 7 दिनों में स्टार का बदलाव - #14★ 2,174+1पिछले 7 दिनों में स्टार का बदलाव
- #15★ 2,076+0पिछले 7 दिनों में स्टार का बदलाव
- #16
ओपन सोर्स निरंतर अनुमान बेंचमार्क अनुसंधान प्लेटफ़ॉर्म — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 और जल्द ही™ TPUv6e/v7/Trainium2/3
★ 1,613+33पिछले 7 दिनों में स्टार का बदलाव - #17
Parallax एक distributed model serving framework है जो आपको कहीं भी अपना स्वयं का AI cluster बनाने की अनुमति देता है
★ 1,372+4पिछले 7 दिनों में स्टार का बदलाव - #18★ 1,325+6पिछले 7 दिनों में स्टार का बदलाव
- #19★ 1,275+130पिछले 7 दिनों में स्टार का बदलाव
- #20★ 975+1पिछले 7 दिनों में स्टार का बदलाव
- #21★ 908+0पिछले 7 दिनों में स्टार का बदलाव
- #22
एक उच्च-प्रदर्शन ML मॉडल सर्विंग फ्रेमवर्क, जो आपके कंप्यूटिंग संसाधन का पूरी तरह से उपयोग करने के लिए गतिशील बैचिंग और CPU/GPU पाइपलाइन प्रदान करता है
★ 902+0पिछले 7 दिनों में स्टार का बदलाव - #23
♾️ स्पेक कोडिंग के साथ प्राइवेट एजेंट फ्लीट। प्रत्येक एजेंट को अपना GPU-त्वरित डेस्कटॉप मिलता है। पूर्ण प्राइवेट AI स्टैक पर Claude, Codex, Gemini और ओपन मॉडल चलाएं ♾️
★ 805+1पिछले 7 दिनों में स्टार का बदलाव - #24
Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है
★ 677+14पिछले 7 दिनों में स्टार का बदलाव - #25
LLM (लार्ज लैंग्वेज मॉडल) फाइन-ट्यूनिंग
★ 579+1पिछले 7 दिनों में स्टार का बदलाव
