llm-inference

वितरित LLM अनुमान। LLM अनुमान को तेज करने के लिए घरेलू उपकरणों को एक शक्तिशाली क्लस्टर में कनेक्ट करें। अधिक उपकरणों का मतलब है तेज़ अनुमान।

Medusa: एकाधिक डिकोडिंग हेड के साथ LLM जनरेशन को तेज करने के लिए सरल फ्रेमवर्क

EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), और EAGLE-3 (NeurIPS'25) का आधिकारिक कार्यान्वयन।

आपके टर्मिनल के लिए एक ओपन कोडिंग एजेंट, जिसे किसी कंपनी के बजाय एक कम्युनिटी कलेक्टिव द्वारा बनाया गया है। अपना खुद का मॉडल लाएं, अपना कोड अपनी मशीन पर रखें, और किसी के भी ऋणी न रहें।

प्रोडक्शन-रेडी AI-संचालित एप्लिकेशन बनाने के लिए PHP इकोसिस्टम का एजेंटिक फ्रेमवर्क।

AICI: (Wasm) प्रोग्राम्स के रूप में प्रॉम्प्ट्स

कही से भी (Linux/Windows/Mac) GPU या CPU पर gradio UI के साथ स्थानीय रूप से कोई भी Llama 2 चलाएं। Generative Agents/Apps के लिए अपने स्थानीय llama2 बैकएंड के रूप में `llama2-wrapper` का उपयोग करें।

अल्ट्राफास्ट सर्वरलेस GPU इन्फेंस, सैंडबॉक्स और बैकग्राउंड जॉब्स

ExecuTorch द्वारा संचालित, React Native में डिवाइस पर AI मॉडल चलाने का घोषणात्मक तरीका।

ओपन सोर्स निरंतर अनुमान बेंचमार्क अनुसंधान प्लेटफ़ॉर्म — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 और जल्द ही™ TPUv6e/v7/Trainium2/3

LLM, VLM, DiT और REC मॉडल के लिए एक उच्च-प्रदर्शन इन्फेरेंस इंजन, जो विभिन्न AI एक्सीलरेटर्स के लिए अनुकूलित है। यह OpenAtom Foundation में होस्ट किया गया है।

क्रेडिट, अनुदान और संसाधनों के माध्यम से भारत में AI को बढ़ावा देने वाला गैर-लाभकारी संगठन

अपने ब्राउज़र के अंदर llama, deepseek-distill, kokoro जैसे लोकल LLMs चलाएं।

सॉफ्टवेयर की सूची जो AI की सहायता से वेब खोजने की अनुमति देती है: https://hf.co/spaces/felladrin/awesome-ai-web-search

एजेंटों के लिए स्थानीय AI ऐप और इन्फेरेंस इंजन। ओपन-वेट LLMs को स्थानीय रूप से चलाएं - निजी, आपके कंप्यूटर पर 100% ऑफ़लाइन। हमारे Discord से जुड़ें: https://discord.com/invite/8wGSsvmg4V

TPU पर LLM को स्केल करने के बारे में एक संक्षिप्त ब्लॉग-शैली की पाठ्यपुस्तक "How To Scale Your Model" का होम

कई डो메न में शीर्ष-स्तरीय पैनेट्रेशन टेस्टिंग टूल और उत्पादकता उपयोगिताओं का एक क्यूरेटेड संग्रह। अन्वेषण करने, योगदान करने और अपने हैकिंग टूलकिट को बेहतर बनाने के लिए हमसे जुड़ें!

Lean में Theorem Proving के लिए Copilots के रूप में LLMs

डायनेमिक GPU शेयरिंग और उससे आगे के लिए वर्चुअलाइज्ड इलास्टिक KV कैश

vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क

लो-कोड दृष्टिकोण के साथ डेवलपर्स और गैर-तकनीकी उपयोगकर्ताओं दोनों के लिए प्रॉम्प्ट डिज़ाइन को सुव्यवस्थित और सरल बनाता है।

C++ और CUDA में अपना खुद का उच्च-प्रदर्शन LLM इन्फेरेंस इंजन बनाएं - vLLM का एक छोटा संस्करण

OpenAlpha_Evolve एक ओपन-सोर्स Python फ्रेमवर्क है जो DeepMind के AlphaEvolve जैसे स्वायत्त कोडिंग एजेंटों पर आधारित शोध से प्रेरित है।

“AI-Compass” समुदाय को AI तकनीक के महासागर में नेविगेट करने के लिए मार्गदर्शन प्रदान करेगा, चाहे आप शुरुआती हों या उन्नत डेवलपर, आप यहाँ AI के सभी क्षेत्रों के लिए मार्ग पा सकते हैं। इसका उद्देश्य डेवलपर्स को AI की मुख्य अवधारणाओं, मुख्यधारा की तकनीकों और अत्याधुनिक रुझानों को व्यवस्थित रूप से समझने में मदद करना है, और अभ्यास के माध्यम से सिद्धांत से कार्यान्वयन तक की प्रक्रिया में महारत हासिल करना है।

न्यूनतम प्लान मूल्य के आधार पर क्रमबद्ध बेहतरीन होस्टिंग की सूची

आपके कंप्यूटर (CPU और GPU) पर रीयल-टाइम चैटिंग के लिए कई मॉडलों का शुद्ध C++ कार्यान्वयन।

Llama और उसके वेरिएंट्स के लिए एक अत्यधिक अनुकूलित LLM अनुमान त्वरण इंजन।

LLM नोट्स, जिसमें मॉडल इन्फरेंस, ट्रांसफॉर्मर मॉडल संरचना और LLM फ्रेमवर्क कोड विश्लेषण नोट्स शामिल हैं।

LLM इन्फरेंस सर्विंग और ऑप्टिमाइज़ेशन के लिए 10-सप्ताह, 30-मिनट-प्रति-दिन का रोडमैप। vLLM, SGLang, क्वांटाइज़ेशन, स्पेक्युलेटिव डिकोडिंग, बेंचमार्किंग।

LLM.swift एक सरल और पठनीय लाइब्रेरी है जो आपको macOS, iOS, watchOS, tvOS और visionOS के लिए स्थानीय रूप से बड़े भाषा मॉडल के साथ आसानी से इंटरैक्ट करने की अनुमति देती है।