mixture-of-experts

DeepSpeed एक डीप लर्निंग ऑप्टिमाइज़ेशन लाइब्रेरी है जो डिस्ट्रिब्यूटेड ट्रेनिंग और इन्फेरेंस को आसान, कुशल और प्रभावी बनाती है।

8.24 GB रैम में एक सिंगल CPU पर इन्फेरेंस चलाने वाला 2.78-खरब-पैरामीटर Kimi K3। पोर्टेबल C99: कोई BLAS नहीं, कोई फ्रेमवर्क नहीं, कोई GPU नहीं।

LLM के लिए अनुमान प्रॉक्सी का अनुकूलन

PyTorch में विकेंद्रीकृत (decentralized) डीप लर्निंग। दुनिया भर के हज़ारों स्वयंसेवकों पर मॉडल प्रशिक्षित करने के लिए निर्मित।

Colab या उपभोक्ता डेस्कटॉप पर Mixtral-8x7B मॉडल चलाएं

【TMM 2025🔥】 Large Vision-Language Models के लिए Mixture-of-Experts

Noam Shazeer आदि द्वारा "The Sparsely-Gated Mixture-of-Experts Layer" का PyTorch पुनः-कार्यान्वयन। https://arxiv.org/abs/1701.06538

Aria के लिए कोडबेस - एक ओपन मल्टीमॉडल नेटिव MoE

Tutel MoE: ऑप्टिमाइज़्ड मिक्सचर-ऑफ-एक्सपर्ट्स लाइब्रेरी, जो FP8/NVFP4/MXFP4 का उपयोग करके GptOss/DeepSeek/Kimi-K2/Qwen3 को सपोर्ट करती है।

LLaMA-MoE: निरंतर प्री-ट्रेनिंग के साथ LLaMA से Mixture-of-Experts का निर्माण (EMNLP 2024)

cuDNN Frontend, cuDNN लाइब्रेरी के लिए NVIDIA का आधुनिक, ओपन-सोर्स एंट्री पॉइंट है और उच्च-प्रदर्शन वाले ओपन-सोर्स कर्नेल का एक बढ़ता हुआ संग्रह है।

SMT: द सरोगेट मॉडलिंग टूलबॉक्स

Andrej Karpathy के makemore से प्रेरित होकर स्पार्स मिक्सचर ऑफ़ एक्सपर्ट्स भाषा मॉडल का स्क्रैच से कार्यान्वयन :)

Swiftlet एक Swift और Metal रनटाइम है जो स्टोरेज से एक्सपर्ट वेट्स को स्ट्रीम करके Apple डिवाइस पर बड़े Qwen Mixture-of-Experts मॉडल को स्थानीय रूप से चलाता है, जिससे iPhone सहित कम RAM पर भी 35B और 80B मॉडल चलाना संभव होता है।

चीनी Mixtral मिक्स-ऑफ-एक्सपर्ट्स (MoE) LLM

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis एक हाइब्रिड LLM रनटाइम है जो सीमित VRAM वाले उपभोक्ता-ग्रेड हार्डवेयर पर बड़े मॉडलों को कुशलतापूर्वक चलाने पर केंद्रित है

मल्टीपल LLM एक्सपर्ट्स को आसानी से मर्ज करने और मर्ज किए गए LLM को कुशलतापूर्वक ट्रेन करने के लिए एक लाइब्रेरी।