local-llm
local-llm टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
मिलते-जुलते विषय
वे विषय जो अक्सर एक ही रिपॉजिटरी पर local-llm के साथ आते हैं।
हाल में उभरे
पिछले 90 दिनों में बनी और local-llm टैग वाली रिपॉजिटरी।
- #1
vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क
★ 1,200 - #2
एक ही डिवाइस पर पूरा Kimi K3 चलाएं। और स्थानीय चैट और कोडिंग एजेंटों के लिए एक OpenAI-संगत API सर्वर।
★ 799 - #3
Apple Silicon पर 4 गुना तेज़ LLM डिकोडिंग, बिना किसी नुकसान के। DeepSeek के DSpark और z-lab के DFlash स्पेक्युलेटिव डिकोडिंग का नेटिव MLX पोर्ट — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, टर्नरी Bonsai-27B।
★ 640 - #4
ओपन-सोर्स AI कंपेनियन प्रोजेक्ट्स का क्यूरेटेड इंडेक्स: लॉन्ग-टर्म मेमोरी, प्रोएक्टिव बिहेवियर, वॉइस, एम्बॉडीमेंट और साझा गतिविधियाँ। भाषा, प्लेटफ़ॉर्म और तत्परता के आधार पर टैग की गई 157 प्रविष्टियाँ। लॉन्ग-टर्म AI कंपेनियन बनाने के लिए ओपन-सोर्स इंफ्रास्ट्रक्चर इंडेक्स।
★ 633 - #5
Swiftlet एक Swift और Metal रनटाइम है जो स्टोरेज से एक्सपर्ट वेट्स को स्ट्रीम करके Apple डिवाइस पर बड़े Qwen Mixture-of-Experts मॉडल को स्थानीय रूप से चलाता है, जिससे iPhone सहित कम RAM पर भी 35B और 80B मॉडल चलाना संभव होता है।
★ 624
- #1
WebUI, टूल्स, मेमोरी, MCP, मल्टी-एजेंट वर्कफ़्लो, ऑटोमेशन और चैट ऐप्स के साथ Python में अल्ट्रा-लाइटवेट, ओपन-सोर्स, सेल्फ-होस्टेड पर्सनल AI एजेंट फ्रेमवर्क
★ 47,662+140पिछले 7 दिनों में स्टार का बदलाव - #2★ 25,859+113पिछले 7 दिनों में स्टार का बदलाव
- #3
SimpleQA पर ~95% (उदा. 3090 पर Qwen3.6-27B)। सभी लोकल और क्लाउड LLM (llama.cpp, Ollama, Google, ...) का समर्थन करता है। 10+ सर्च इंजन - arXiv, PubMed, आपके निजी दस्तावेज़। सब कुछ लोकल और एन्क्रिप्टेड है।
★ 9,023+18पिछले 7 दिनों में स्टार का बदलाव - #4
डायनेमिक वर्कफ़्लो के साथ TypeScript AI एजेंट ऑर्केस्ट्रेशन फ्रेमवर्क। लक्ष्य का वर्णन करें, ग्राफ का नहीं: एक कोऑर्डिनेटर रनटाइम पर टास्क DAG की योजना बनाता है और इसे किसी भी LLM (Claude, ChatGPT, Gemini, DeepSeek, या स्थानीय मॉडल) पर चलाता है।
★ 6,860+20पिछले 7 दिनों में स्टार का बदलाव - #5
ओपन सोर्स वॉयस AI प्लेटफॉर्म। Vapi और Retell का सेल्फ-होस्टेड विकल्प। ऑन-प्रेम, स्पीच-टू-स्पीच या LLM/STT/TTS में BYOK, विजुअल वर्कफ्लो बिल्डर, MCP नेटिव और टेलीफोनी सहायता के साथ।
★ 5,568+45पिछले 7 दिनों में स्टार का बदलाव - #6
लोकल-फर्स्ट हेल्थकेयर AI: क्लिनिकल NER और HIPAA PII डी-आइडेंटिफ़िकेशन जो 100% ऑन-डिवाइस चलता है। 2,200+ मेडिकल मॉडल, 21 भाषाएँ, Apple MLX + Python, कोई क्लाउड नहीं, कोई रोगी डेटा आपके नेटवर्क से बाहर नहीं जाता। Apache-2.0
★ 5,199+20पिछले 7 दिनों में स्टार का बदलाव - #7
एक YAML से LLM को फाइन-ट्यून करें। लेयर स्ट्रीमिंग 4 GB लैपटॉप GPU पर 8B मॉडल को प्रशिक्षित करती है।
★ 4,929+1,365पिछले 7 दिनों में स्टार का बदलाव - #8★ 4,102+1पिछले 7 दिनों में स्टार का बदलाव
- #9
Apple Silicon के लिए सबसे तेज़ लोकल AI इंजन। Ollama से 4.2x तेज़, 0.08s कैache TTFT, 100% टूल कॉलिंग। 17 टूल पार्सर, प्रॉम्प्ट कैशे, रीज़निंग सेपरेशन, क्लाउड रूटिंग। ड्रॉप-इन OpenAI रिप्लेसमेंट। Claude Code, Cursor, Aider के साथ काम करता है।
★ 3,647+81पिछले 7 दिनों में स्टार का बदलाव - #10
पर्सनल AI नोटबुक। फ़ाइलों और वेबपेजों को व्यवस्थित करें और उनसे नोट्स जनरेट करें। ओपन सोर्स, स्थानीय और खुला डेटा, खुला मॉडल विकल्प (स्थानीय सहित)।
★ 3,554+10पिछले 7 दिनों में स्टार का बदलाव - #11
Apple Silicon पर लोकल AI के साथ Claude Code को 100% ऑन-डिवाइस चलाएं। MLX-native Anthropic-API सर्वर। 6 फाइटर्स (Muse-Glimmer 30B, Gemma 4 31B, Qwen 3.5 122B, DeepSeek V4 Flash सहित)। प्राइवेट, ऑफ़लाइन, एयरगैप-तैयार। NDA / कानूनी / स्वास्थ्य सेवा वर्कफ़्लो के लिए निर्मित।
★ 3,255+12पिछले 7 दिनों में स्टार का बदलाव - #12
Lua, Teal, Markdown, HTTP/2, QUIC, Redis, TypeScript, npm-less React 19, SQLite, और PostgreSQL समर्थन के साथ छोटा स्व-निहित शुद्ध-Go वेब सर्वर ++
★ 3,028+1पिछले 7 दिनों में स्टार का बदलाव - #13
स्थानीय रूप से LLM चलाने में मदद करने वाले बेहतरीन प्लेटफॉर्म, टूल्स, प्रथाओं और संसाधनों की क्यूरेटेड सूची
★ 2,823+23पिछले 7 दिनों में स्टार का बदलाव - #14
छोटे LLM के लिए अनुकूलित एक हार्नेस
★ 2,528+16पिछले 7 दिनों में स्टार का बदलाव - #15
लोकल फर्स्ट AI एजेंट। लोकल AI मॉडल के लिए अनुकूलित। लंबा संदर्भ विंडो। उचित टूल कॉलिंग। आपके डिवाइस पर निजी तौर पर चलता है।
★ 2,452+0पिछले 7 दिनों में स्टार का बदलाव - #16
Ollama, OpenAI, Gemini, Mistral, Poe या OpenRouter के साथ पूरी लंबाई की किताबें और दस्तावेज़ अनुवाद करें। फ़ॉर्मेटिंग सुरक्षित रखता है।
★ 2,368+31पिछले 7 दिनों में स्टार का बदलाव - #17
OpenAI, Azure, या ElevenLabs को बदलने के लिए मुफ़्त, उच्च-गुणवत्ता वाला text-to-speech API एंडपॉइंट
★ 2,075+5पिछले 7 दिनों में स्टार का बदलाव - #18★ 2,048+7पिछले 7 दिनों में स्टार का बदलाव
- #19
Apple Silicon के लिए हाई-परफॉरमेंस OpenAI और Anthropic संगत LLM इन्फेरेंस सर्वर। नेटिव MLX, निरंतर बैचिंग, मल्टीमॉडल मॉडल, MCP टूल कॉलिंग, और Claude Code समर्थन।
★ 1,557+6पिछले 7 दिनों में स्टार का बदलाव - #20
Row-Bot - व्यक्तिगत AI संप्रभुता। एकीकृत टूल, एक व्यक्तिगत ज्ञान ग्राफ़, आवाज़, विजन, शेल, ब्राउज़र स्वचालन, शेड्यूल किए गए कार्यों, स्वास्थ्य ट्रैकिंग और मैसेजिंग चैनलों के साथ एक स्थानीय-प्रथम AI सहायक। Ollama के माध्यम से स्थानीय रूप से चलाएं या वैकल्पिक क्लाउड मॉडल जोड़ें। आपका डेटा आपकी मशीन पर रहता है।
★ 1,480+11पिछले 7 दिनों में स्टार का बदलाव - #21
एजेंटों के लिए स्थानीय AI ऐप और इन्फेरेंस इंजन। ओपन-वेट LLMs को स्थानीय रूप से चलाएं - निजी, आपके कंप्यूटर पर 100% ऑफ़लाइन। हमारे Discord से जुड़ें: https://discord.com/invite/8wGSsvmg4V
★ 1,413+20पिछले 7 दिनों में स्टार का बदलाव - #22
Apple Silicon वाले Mac पर LLM को फाइन-ट्यून करें। SFT, DPO, GRPO, Vision, TTS, STT, Embedding और OCR फाइन-ट्यूनिंग — MLX पर नेटिव रूप से। Unsloth-compatible API।
★ 1,398+8पिछले 7 दिनों में स्टार का बदलाव - #23
प्लग-एंड-प्ले लोकल AI स्टूडियो: अनसेंसर्ड चैट, इमेज और वीडियो जनरेशन, कोडिंग एजेंट। यह 100% ऑफलाइन abliterated LLMs और ComfyUI चलाता है। एक इंस्टॉलर, कोई Docker नहीं, कोई क्लाउड नहीं।
★ 1,351+185पिछले 7 दिनों में स्टार का बदलाव - #24
🌌 अपने पसंदीदा पात्रों को एक आत्मा दें। Soul of Waifu एक डेस्कटॉप रोलप्ले और AI साथी ऐप है जिसमें Live2D/VRM अवतार, वॉयस चैट और स्थानीय LLM शामिल हैं। इमर्सिव चैट, RPG एडवेंचर्स और अपने डेस्कटॉप पर एक साथ विकसित हों।
★ 1,281+15पिछले 7 दिनों में स्टार का बदलाव - #25★ 1,254+18पिछले 7 दिनों में स्टार का बदलाव
- #26
WUPHF आपको AI टीम के साथियों का अपना व्यक्तिगत कार्यालय बनाने देता है जो साझा संदर्भ पर सहयोग करते हैं। Claude Code, Codex, OpenClaw, OpenCode, स्थानीय LLMs का समर्थन करता है।
★ 1,253+6पिछले 7 दिनों में स्टार का बदलाव - #27
vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क
★ 1,200+316पिछले 7 दिनों में स्टार का बदलाव - #28
Local LLMs के साथ उपयोग के लिए एक सरल, स्थानीय रूप से होस्ट किया गया Web Search MCP सर्वर
★ 1,122+8पिछले 7 दिनों में स्टार का बदलाव - #29
Synthadoc: एक ओपन-सोर्स LLM ज्ञान संकलन इंजन जो कच्चे दस्तावेजों को संरचित, स्थानीय-प्रथम विकी में बदलता है। पारंपरिक RAG का एक पारदर्शी, मानव-पठनीय विकल्प।
★ 1,116+2पिछले 7 दिनों में स्टार का बदलाव - #30
Apple Silicon के लिए नेटिव LLM इन्फरेंस सर्वर। OpenAI और Anthropic API के साथ संगत। Python की आवश्यकता नहीं। इसमें चैट, एजेंट मोड और टूल कॉलिंग के साथ MLX Core macOS ऐप शामिल है।
★ 1,115+245पिछले 7 दिनों में स्टार का बदलाव
