विषय · distributed-inference

distributed-inference

distributed-inference टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।

रिपॉजिटरी

कुल स्टार

17,366

औसत स्टार

4,342

हिस्सा

0.00%

वे विषय जो अक्सर एक ही रिपॉजिटरी पर distributed-inference के साथ आते हैं।

हाल में उभरे

पिछले 90 दिनों में बनी और distributed-inference टैग वाली रिपॉजिटरी।

पिछले 90 दिनों में इस विषय के टैग वाली कोई नई रिपॉजिटरी नहीं आई।

#1
flashinfer ↗@flashinfer-aiPython
FlashInfer: LLM सर्विंग के लिए कर्नेल लाइब्रेरी
★ 6,321+38पिछले 7 दिनों में स्टार का बदलाव
#2
gpustack ↗@gpustackPython
हाई-परफॉरमेंस AI मॉडल सर्विंग (vLLM, SGLang) और ऑन-डिमांड SSH-एक्सेसिबल GPU इंस्टेंस के लिए एक GPU क्लस्टर मैनेजर।
★ 5,593+21पिछले 7 दिनों में स्टार का बदलाव
#3
llm-d ↗@llm-dShell
Kubernetes पर आधुनिक एक्सीलरेटर के साथ अत्याधुनिक इन्फेरेंस प्रदर्शन प्राप्त करें
★ 4,390+69पिछले 7 दिनों में स्टार का बदलाव
#4
sglang-omni ↗@sgl-projectPython
SGLang-Omni, TTS, ASR, स्पीच और ओम्नी मॉडल के लिए उच्च-प्रदर्शन सर्विंग को सक्षम बनाता है।
★ 1,118+143पिछले 7 दिनों में स्टार का बदलाव