विषय · model-serving

model-serving

model-serving टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।

रिपॉजिटरी

कुल स्टार

1,65,504

औसत स्टार

5,517

हिस्सा

0.01%

वे विषय जो अक्सर एक ही रिपॉजिटरी पर model-serving के साथ आते हैं।

हाल में उभरे

पिछले 90 दिनों में बनी और model-serving टैग वाली रिपॉजिटरी।

पिछले 90 दिनों में इस विषय के टैग वाली कोई नई रिपॉजिटरी नहीं आई।

#1
vllm ↗@vllm-projectPython
LLM के लिए एक हाई-थ्रूपुट और मेमोरी-कुशल इन्फेरेंस और सर्विंग इंजन
★ 90,817+402पिछले 7 दिनों में स्टार का बदलाव
#2
BentoML ↗@bentomlPython
AI ऐप्स और मॉडल सर्व करने का सबसे आसान तरीका - मॉडल इन्फेरेंस API, जॉब कतारें, LLM ऐप्स, मल्टी-मॉडल पाइपलाइन और बहुत कुछ बनाएँ!
★ 8,817+4पिछले 7 दिनों में स्टार का बदलाव
#3
vllm-omni ↗@vllm-projectPython
omni-modality मॉडलों के साथ कुशल मॉडल इनफरेंस के लिए एक फ्रेमवर्क।
★ 6,593+136पिछले 7 दिनों में स्टार का बदलाव
#4
kserve ↗@kserveGo
Kubernetes पर स्केलेबल, मल्टी-फ़्रेमवर्क तैनाती के लिए मानकीकृत वितरित जनरेटिव और प्रेडिक्टिव AI इन्फेरेंस प्लेटफ़ॉर्म
★ 5,853+13पिछले 7 दिनों में स्टार का बदलाव
#5
Olares ↗@beclabGo
हमेशा चालू रहने वाले एजेंटों के लिए ओपन-सोर्स पर्सनल क्लाउड OS
★ 5,246+3पिछले 7 दिनों में स्टार का बदलाव
#6
Deep-Learning-in-Production ↗@ahkarami
इस रिपॉजिटरी में, मैं प्रोडक्शन में डीप लर्निंग-आधारित मॉडल को तैनात करने के बारे में कुछ उपयोगी नोट्स और संदर्भ साझा कर रहा हूँ।
★ 4,376+0पिछले 7 दिनों में स्टार का बदलाव
#7
AI-Infra-from-Zero-to-Hero ↗@HuaizhengZhang
🚀 मशीन लर्निंग के लिए शानदार सिस्टम ⚡️ AI सिस्टम पेपर्स और इंडस्ट्री प्रैक्टिस। ⚡️ मशीन लर्निंग, LLM (लार्ज लैंग्वेज मॉडल), GenAI (जेनरेटिव AI) के लिए सिस्टम। 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, आदि। 🗃️ Llama3, Mistral, आदि। 🧑‍💻 वीडियो ट्यूटोरियल।
★ 4,330+12पिछले 7 दिनों में स्टार का बदलाव
#8
LightLLM ↗@ModelTCPython
LightLLM एक Python-आधारित LLM (लार्ज लैंग्वेज मॉडल) अनुमान और सर्विंग फ्रेमवर्क है, जो अपने हल्के डिजाइन, आसान स्केलेबिलिटी और उच्च गति प्रदर्शन के लिए जाना जाता है।
★ 4,260+9पिछले 7 दिनों में स्टार का बदलाव
#9
FedML ↗@FedML-AIPython
FEDML - बड़े पैमाने पर वितरित प्रशिक्षण, मॉडल सर्विंग और फ़ेडरेटेड लर्निंग के लिए एकीकृत और स्केलेबल ML लाइब्रेरी। FEDML Launch, एक क्रॉस-क्लाउड शेड्यूलर, किसी भी GPU क्लाउड या ऑन-प्रिमाइसेस क्लस्टर पर किसी भी AI जॉब को चलाने में सक्षम बनाता है। इस लाइब्रेरी पर निर्मित, TensorOpera AI (https://TensorOpera.ai) बड़े पैमाने पर आपका जनरेटिव AI प्लेटफ़ॉर्म है।
★ 4,062+1पिछले 7 दिनों में स्टार का बदलाव
#10
lorax ↗@predibasePython
मल्टी-LoRA इन्फेरेंस सर्वर जो हजारों फाइन-ट्यून्ड LLM तक स्केल करता है।
★ 3,827+1पिछले 7 दिनों में स्टार का बदलाव
#11
chitu ↗@thu-pacmanPython
बड़े भाषा मॉडल के लिए उच्च-प्रदर्शन अनुमान फ्रेमवर्क, जो दक्षता, लचीलेपन और उपलब्धता पर केंद्रित है।
★ 2,997-1पिछले 7 दिनों में स्टार का बदलाव
#12
vllm-ascend ↗@vllm-projectC++
Ascend पर vLLM के लिए सामुदायिक-रखरखाव वाला हार्डवेयर प्लगइन
★ 2,749+19पिछले 7 दिनों में स्टार का बदलाव
#13
openlake ↗@openlake-projectRust
OpenLake कुशल LLM इन्फेरेंस और GPU ट्रेनिंग के लिए एक उच्च-प्रदर्शन स्टोरेज इंजन है
★ 2,399+64पिछले 7 दिनों में स्टार का बदलाव
#14
envd ↗@tensorchordGo
🏕️ मनुष्यों और एजेंटों के लिए पुनरुत्पादक विकास वातावरण
★ 2,227-1पिछले 7 दिनों में स्टार का बदलाव
#15
aici ↗@microsoftRust
AICI: (Wasm) प्रोग्राम्स के रूप में प्रॉम्प्ट्स
★ 2,076+0पिछले 7 दिनों में स्टार का बदलाव
#16
mlrun ↗@mlrunPython
MLRun एक ओपन सोर्स MLOps प्लेटफ़ॉर्म है जो अपने जीवनचक्र में निरंतर ML अनुप्रयोगों को तेज़ी से बनाने और प्रबंधित करने के लिए है। MLRun आपके विकास और CI/CD वातावरण में एकीकृत होता है और उत्पादन डेटा, ML पाइपलाइन और ऑनलाइन अनुप्रयोगों की डिलीवरी को स्वचालित करता है।
★ 1,694+1पिछले 7 दिनों में स्टार का बदलाव
#17
kitops ↗@kitops-mlGo
AI/ML मॉडल, डेटासेट, कोड और कॉन्फ़िगरेशन को OCI आर्टिफैक्ट में पैक और वर्शन करने के लिए CNCF का एक ओपन सोर्स DevOps टूल।
★ 1,409+0पिछले 7 दिनों में स्टार का बदलाव
#18
rtp-llm ↗@alibabaCuda
RTP-LLM: विभिन्न अनुप्रयोगों के लिए Alibaba का उच्च-प्रदर्शन LLM इन्फेरेंस इंजन।
★ 1,325+6पिछले 7 दिनों में स्टार का बदलाव
#19
hopsworks ↗@logicalclocksJava
Hopsworks - एक फ़ीचर स्टोर के साथ डेटा-इंटेंसिव AI प्लेटफ़ॉर्म
★ 1,304+1पिछले 7 दिनों में स्टार का बदलाव
#20
truss ↗@basetenlabsPython
प्रोडक्शन में AI/ML मॉडल्स को सर्व करने का सबसे सरल तरीका।
★ 1,199+3पिछले 7 दिनों में स्टार का बदलाव
#21
sglang-omni ↗@sgl-projectPython
SGLang-Omni, TTS, ASR, स्पीच और ओम्नी मॉडल के लिए उच्च-प्रदर्शन सर्विंग को सक्षम बनाता है।
★ 1,118+130पिछले 7 दिनों में स्टार का बदलाव
#22
Nanoflow ↗@efeslabJupyter Notebook
LLMs के लिए थ्रूपुट-उन्मुख उच्च-प्रदर्शन सर्विंग फ्रेमवर्क
★ 975+1पिछले 7 दिनों में स्टार का बदलाव
#23
model_server ↗@openvinotoolkitC++
OpenVINO™ के साथ अनुकूलित मॉडल के लिए एक स्केलेबल इन्फेरेंस सर्वर
★ 925+5पिछले 7 दिनों में स्टार का बदलाव
#24
ZhiLight ↗@zhihuC++
Llama और उसके वेरिएंट्स के लिए एक अत्यधिक अनुकूलित LLM अनुमान त्वरण इंजन।
★ 908+0पिछले 7 दिनों में स्टार का बदलाव
#25
mosec ↗@mosecorgPython
एक उच्च-प्रदर्शन ML मॉडल सर्विंग फ्रेमवर्क, जो आपके कंप्यूटिंग संसाधन का पूरी तरह से उपयोग करने के लिए गतिशील बैचिंग और CPU/GPU पाइपलाइन प्रदान करता है
★ 902+0पिछले 7 दिनों में स्टार का बदलाव
#26
ServerlessLLM ↗@ServerlessLLMPython
सभी के लिए सर्वरलेस LLM सर्विंग।
★ 713+0पिछले 7 दिनों में स्टार का बदलाव
#27
timber ↗@kossisoroycePython
क्लासिकल ML मॉडल के लिए Ollama। एक AOT कंपाइलर जो XGBoost, LightGBM, scikit-learn, CatBoost और ONNX मॉडल को नेटिव C99 इन्फरेंस कोड में बदलता है। लोड करने के लिए एक कमांड, सर्व करने के लिए एक कमांड। Python इन्फरेंस से 336 गुना तेज़।
★ 687+0पिछले 7 दिनों में स्टार का बदलाव
#28
pegainfer ↗@pegainfer-projectRust
Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है
★ 677+14पिछले 7 दिनों में स्टार का बदलाव
#29
fastapi-ml-skeleton ↗@eightBECPython
प्रोडक्शन-रेडी मशीन लर्निंग मॉडल की सेवा के लिए FastAPI स्केलेटन ऐप।
★ 603+0पिछले 7 दिनों में स्टार का बदलाव
#30
ome ↗@ome-projectsGo
Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton
★ 506—पिछले 7 दिनों में स्टार का बदलाव

← विषयों पर वापस

मिलते-जुलते विषय

हाल में उभरे