inference-engine

✍🏻 सोर्स कोड डीप डाइव, सिस्टम डिज़ाइन और इंजीनियरिंग ब्लॉग्स | Halfrost-Field: सोर्स कोड विश्लेषण, सिस्टम डिज़ाइन और इंजीनियरिंग अभ्यास नोट्स

8.24 GB रैम में एक सिंगल CPU पर इन्फेरेंस चलाने वाला 2.78-खरब-पैरामीटर Kimi K3। पोर्टेबल C99: कोई BLAS नहीं, कोई फ्रेमवर्क नहीं, कोई GPU नहीं।

FEDML - बड़े पैमाने पर वितरित प्रशिक्षण, मॉडल सर्विंग और फ़ेडरेटेड लर्निंग के लिए एकीकृत और स्केलेबल ML लाइब्रेरी। FEDML Launch, एक क्रॉस-क्लाउड शेड्यूलर, किसी भी GPU क्लाउड या ऑन-प्रिमाइसेस क्लस्टर पर किसी भी AI जॉब को चलाने में सक्षम बनाता है। इस लाइब्रेरी पर निर्मित, TensorOpera AI (https://TensorOpera.ai) बड़े पैमाने पर आपका जनरेटिव AI प्लेटफ़ॉर्म है।

कैंपस प्लेसमेंट और इंटर्नशिप के लिए बेहतरीन प्रोजेक्ट! ज़ीरो से एक उच्च-प्रदर्शन डीप लर्निंग इन्फेरेंस लाइब्रेरी बनाना सीखें, जो llama2, Unet, Yolov5, Resnet जैसे बड़े मॉडलों का समर्थन करती है।

Golang में रूल इंजन का कार्यान्वयन।

OneDiff: डिफ्यूजन मॉडल के लिए एक आउट-ऑफ-द-बॉक्स एक्सीलरेशन लाइब्रेरी।

बड़े पैमाने पर LLM इन्फेरेंस इंजन

MLX पर 3x तेज़ गति | Qwen 3.8 27B | बिना किसी बाहरी ड्राफ्टर के Apple Silicon पर नेटिव MTP स्पेकुलेटिव डिकोडिंग।

LLM, VLM, DiT और REC मॉडल के लिए एक उच्च-प्रदर्शन इन्फेरेंस इंजन, जो विभिन्न AI एक्सीलरेटर्स के लिए अनुकूलित है। यह OpenAtom Foundation में होस्ट किया गया है।

Qualcomm® AI Hub Models हमारे अत्याधुनिक मशीन लर्निंग मॉडल का संग्रह है जो प्रदर्शन (विलंबता, मेमोरी आदि) के लिए अनुकूलित हैं और Qualcomm® उपकरणों पर तैनात करने के लिए तैयार हैं।

डायनेमिक GPU शेयरिंग और उससे आगे के लिए वर्चुअलाइज्ड इलास्टिक KV कैश

Paddle.js Baidu PaddlePaddle के लिए एक वेब प्रोजेक्ट है, जो ब्राउज़र में चलने वाला एक ओपन सोर्स डीप लर्निंग फ्रेमवर्क है। Paddle.js प्री-ट्रेंड मॉडल लोड कर सकता है या Paddle.js द्वारा प्रदान किए गए टूल का उपयोग करके मॉडल को ट्रांसफॉर्म कर सकता है। यह WebGL/WebGPU/WebAssembly समर्थित किसी भी ब्राउज़र में चल सकता है। यह Baidu Smartprogram और WX miniprogram में भी चल सकता है।

NobodyWho एक इन्फरेंस इंजन है जो आपको किसी भी डिवाइस पर स्थानीय रूप से और कुशलतापूर्वक LLMs चलाने की सुविधा देता है।

MLX Studio - JANG_Q का घर - इमेज जनरेशन/एडिटिंग + चैट/कोड सब एक में - + OpenClaw (Anthropic API)

Llama और उसके वेरिएंट्स के लिए एक अत्यधिक अनुकूलित LLM अनुमान त्वरण इंजन।

इन-बिल्ट सुविधाओं के साथ पायथन कंप्यूटर विज़न और वीडियो एनालिटिक्स फ्रेमवर्क।

Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है

Apple Silicon पर 4 गुना तेज़ LLM डिकोडिंग, बिना किसी नुकसान के। DeepSeek के DSpark और z-lab के DFlash स्पेक्युलेटिव डिकोडिंग का नेटिव MLX पोर्ट — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, टर्नरी Bonsai-27B।

Yet Another Language Model: C++/CUDA में LLM अनुमान, I/O को छोड़कर कोई लाइब्रेरी नहीं

pylint और अन्य प्रोजेक्ट्स के लिए पाइथन सोर्स कोड का एक सामान्य आधार प्रतिनिधित्व।

कैंपस प्लेसमेंट, इंटर्नशिप के लिए एक बेहतरीन प्रोजेक्ट, जो आपको शून्य से LLama2/3 और Qwen2.5 का समर्थन करने वाला लार्ज मॉडल इन्फरेंस फ्रेमवर्क बनाना सिखाता है।

शून्य से निर्मित LLM डिस्टिलेशन और सर्विंग इंजन: कस्टम Triton/CUDA कर्नेल, FSDP डिस्टिलेशन, पेज्ड-KV कंटीन्यूअस बैचिंग, सट्टा डिकोडिंग, एक Rust गेटवे, एक JAX ओरेकल और व्याख्यात्मकता उपकरण।

Krasis एक हाइब्रिड LLM रनटाइम है जो सीमित VRAM वाले उपभोक्ता-ग्रेड हार्डवेयर पर बड़े मॉडलों को कुशलतापूर्वक चलाने पर केंद्रित है

Intel डिवाइस के लिए इन्फरेन्स इंजन। OpenAI एंडपॉइंट पर LLMs, VLMs, Whisper, Kokoro-TTS, एम्बेडिंग और रीरैंक मॉडल सर्व करें।