विषय · inference

inference

inference टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।

120 रिपॉजिटरी

#61
ai-gateway ↗@envoyproxyGo
Envoy Gateway पर बनी जेनेरेटिव AI सेवाओं तक एकीकृत पहुँच का प्रबंधन करता है
★ 1,990+16पिछले 7 दिनों में स्टार का बदलाव
#62
picolm ↗@RightNow-AIC
256MB RAM वाले $10 के बोर्ड पर 1-अरب पैरामीटर LLM चलाएं
★ 1,927+4पिछले 7 दिनों में स्टार का बदलाव
#63
agibot_x1_infer ↗@AgibotTechC++
AgiBot X1 के लिए इनफॉरेंस मॉड्यूल।
★ 1,835+1पिछले 7 दिनों में स्टार का बदलाव
#64
NNPACK ↗@MaratyszczaC
मल्टी-कोर CPU पर न्यूरल नेटवर्क के लिए एक्सीलेरेशन पैकेज
★ 1,711+1पिछले 7 दिनों में स्टार का बदलाव
#65
transformer-deploy ↗@ELS-RDPython
🤗 Hugging Face ट्रांसफार्मर मॉडल के लिए कुशल, स्केलेबल और एंटरप्राइज़-ग्रेड CPU/GPU अनुमान सर्वर 🚀
★ 1,690+0पिछले 7 दिनों में स्टार का बदलाव
#66
uzu ↗@trymiraiRust
AI मॉडल के लिए एक उच्च-प्रदर्शन इन्फ्रेंस इंजन
★ 1,687+4पिछले 7 दिनों में स्टार का बदलाव
#67
InferenceX ↗@SemiAnalysisAIPython
ओपन सोर्स निरंतर अनुमान बेंचमार्क अनुसंधान प्लेटफ़ॉर्म — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 और जल्द ही™ TPUv6e/v7/Trainium2/3
★ 1,613+33पिछले 7 दिनों में स्टार का बदलाव
#68
llmgateway ↗@theopencoTypeScript
एक एकीकृत API इंटरफ़ेस के साथ कई प्रदाताओं में अपने LLM अनुरोधों को रूट, प्रबंधित और विश्लेषित करें।
★ 1,594+8पिछले 7 दिनों में स्टार का बदलाव
#69
xllm ↗@xLLM-AIC++
LLM, VLM, DiT और REC मॉडल के लिए एक उच्च-प्रदर्शन इन्फेरेंस इंजन, जो विभिन्न AI एक्सीलरेटर्स के लिए अनुकूलित है। यह OpenAtom Foundation में होस्ट किया गया है।
★ 1,552+11पिछले 7 दिनों में स्टार का बदलाव
#70
TurboTransformers ↗@TencentC++
CPU और GPU पर ट्रांसफॉर्मर इन्फेरेंस (Bert, Albert, GPT2, Decoders, आदि) के लिए एक तेज़ और उपयोगकर्ता-अनुकूल रनटाइम।
★ 1,550+1पिछले 7 दिनों में स्टार का बदलाव
#71
nvidia_gpu_exporter ↗@utkuozdemirGo
nvidia-smi बाइनरी या NVML का उपयोग करके Prometheus के लिए Nvidia GPU एक्सपोर्टर
★ 1,550+4पिछले 7 दिनों में स्टार का बदलाव
#72
budgetml ↗@ebhyPython
कम बजट में 10 से कम लाइनों के कोड में ML इन्फेरेंस सर्विस डिप्लॉय करें।
★ 1,343+0पिछले 7 दिनों में स्टार का बदलाव
#73
rtp-llm ↗@alibabaCuda
RTP-LLM: विभिन्न अनुप्रयोगों के लिए Alibaba का उच्च-प्रदर्शन LLM इन्फेरेंस इंजन।
★ 1,325+6पिछले 7 दिनों में स्टार का बदलाव
#74
EmbedAnything ↗@StarlightSearchRust
Rust 🦀 में निर्मित अत्यधिक प्रदर्शनकारी, मॉड्यूलर, मेमोरी सुरक्षित और प्रोडक्शन-रेडी इन्फेंस, इंजेशन और इंडेक्सिंग
★ 1,305-1पिछले 7 दिनों में स्टार का बदलाव
#75
CausalDiscoveryToolbox ↗@FenTechSolutionsPython
ग्राफ और युग्मित सेटिंग्स में अनुकरण-संबंधी (causal inference) अनुमान के लिए पैकेज। ग्राफ संरचना पुनर्प्राप्ति और निर्भरता के लिए उपकरण शामिल हैं।
★ 1,237+0पिछले 7 दिनों में स्टार का बदलाव
#76
kubetorch ↗@run-housePython
ML इंफ्रा के लिए PyTorch की तरह, Python में Kubernetes पर AI वर्कलोड को जादुई रूप से वितरित और चलाएं।
★ 1,224+0पिछले 7 दिनों में स्टार का बदलाव
#77
kvpress ↗@NVIDIAPython
LLM KV कैश कम्प्रेशन को आसान बनाया गया
★ 1,201+5पिछले 7 दिनों में स्टार का बदलाव
#78
ai-hub-models ↗@qualcommPython
Qualcomm® AI Hub Models हमारे अत्याधुनिक मशीन लर्निंग मॉडल का संग्रह है जो प्रदर्शन (विलंबता, मेमोरी आदि) के लिए अनुकूलित हैं और Qualcomm® उपकरणों पर तैनात करने के लिए तैयार हैं।
★ 1,195+1पिछले 7 दिनों में स्टार का बदलाव
#79
sglang-omni ↗@sgl-projectPython
SGLang-Omni, TTS, ASR, स्पीच और ओम्नी मॉडल के लिए उच्च-प्रदर्शन सर्विंग को सक्षम बनाता है।
★ 1,118+143पिछले 7 दिनों में स्टार का बदलाव
#80
mlx-serve ↗@ddalcuZig
Apple Silicon के लिए नेटिव LLM इन्फरेंस सर्वर। OpenAI और Anthropic API के साथ संगत। Python की आवश्यकता नहीं। इसमें चैट, एजेंट मोड और टूल कॉलिंग के साथ MLX Core macOS ऐप शामिल है।
★ 1,115+245पिछले 7 दिनों में स्टार का बदलाव
#81
tiny-vllm ↗@jmaczanC++
C++ और CUDA में अपना खुद का उच्च-प्रदर्शन LLM इन्फेरेंस इंजन बनाएं - vLLM का एक छोटा संस्करण
★ 1,094+15पिछले 7 दिनों में स्टार का बदलाव
#82
Nanoflow ↗@efeslabJupyter Notebook
LLMs के लिए थ्रूपुट-उन्मुख उच्च-प्रदर्शन सर्विंग फ्रेमवर्क
★ 975+1पिछले 7 दिनों में स्टार का बदलाव
#83
mlxstudio ↗@jjang-ai
MLX Studio - JANG_Q का घर - इमेज जनरेशन/एडिटिंग + चैट/कोड सब एक में - + OpenClaw (Anthropic API)
★ 964+5पिछले 7 दिनों में स्टार का बदलाव
#84
bolt ↗@huawei-noahC++
Bolt उच्च प्रदर्शन और विषम लचीलेपन वाली एक डीप लर्निंग लाइब्रेरी है।
★ 957+0पिछले 7 दिनों में स्टार का बदलाव
#85
ims ↗@OpenIntroStatJavaScript
📚 आधुनिक सांख्यिकी का परिचय - एक कॉलेज-स्तरीय ओपन-सोर्स पाठ्यपुस्तक जो मल्टीवेरिएबल संबंधों और सिमुलेशन-आधारित अनुमान पर जोर देती है।
★ 944+1पिछले 7 दिनों में स्टार का बदलाव
#86
neuropod ↗@uberC++
कई फ्रेमवर्क्स से डीप लर्निंग मॉडल चलाने के लिए एक समान इंटरफ़ेस।
★ 943+0पिछले 7 दिनों में स्टार का बदलाव
#87
model_server ↗@openvinotoolkitC++
OpenVINO™ के साथ अनुकूलित मॉडल के लिए एक स्केलेबल इन्फेरेंस सर्वर
★ 927+7पिछले 7 दिनों में स्टार का बदलाव
#88
bark.cpp ↗@PABannierC++
तेज़ टेक्स्ट-टू-स्पीच जनरेशन के लिए C/C++ में Suno AI का Bark मॉडल।
★ 867+1पिछले 7 दिनों में स्टार का बदलाव
#89
pipeless ↗@pipeless-aiRust
मिनटों में ऐप्स बनाने और तैनात करने के लिए एक ओपन-सोर्स कंप्यूटर विज़न फ्रेमवर्क
★ 851-1पिछले 7 दिनों में स्टार का बदलाव
#90
pytriton ↗@triton-inference-serverPython
PyTriton एक Flask/FastAPI जैसा इंटरफ़ेस है जो Python वातावरण में Triton की तैनाती को सरल बनाता है।
★ 848+0पिछले 7 दिनों में स्टार का बदलाव

← विषयों पर वापस