gpt-oss

Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma और अन्य मॉडलों के साथ शुरुआत करें।

LLM के लिए एक हाई-थ्रूपुट और मेमोरी-कुशल इन्फेरेंस और सर्विंग इंजन

SGLang बड़े भाषा मॉडल और मल्टीमॉडल मॉडल के लिए एक उच्च-प्रदर्शन सर्विंग फ्रेमवर्क है।

[MLsys2026]: LEANN के साथ हर चीज़ पर RAG। अपने व्यक्तिगत डिवाइस पर तेज़, सटीक और 100% निजी RAG एप्लीकेशन चलाते हुए 97% स्टोरेज की बचत का आनंद लें।

Qwen, Gemma, या किसी भी ओपन वेट LLM को आसानी से फाइन-ट्यून, मूल्यांकन और तैनात करें!

कुछ ही लाइनों के कोड के साथ NPU, GPU और CPU पर Qualcomm उपकरणों पर स्थानीय रूप से फ्रंटियर LLMs और VLMs चलाएं

अльтра-लार्ज MoE मॉडल के लिए निर्मित एक अगली पीढ़ी का ट्रेनिंग इंजन

एक नेटिव macOS ऐप जो उपयोगकर्ताओं को किसी अन्य सॉफ़्टवेयर को इंस्टॉल किए बिना आपके मैक पर फ़ाइलों, फ़ोल्डरों और वेबसाइटों की जानकारी के साथ जवाब देने में सक्षम स्थानीय LLM के साथ चैट करने की अनुमति देता है। llama.cpp द्वारा संचालित।

ChatGPT, Gemini 3.6, Claude Fable 5, Claude Sonnet 5, DeepSeek V4, Grok, OpenRouter, Kimi k3, GLM 5.2, SiliconFlow, GPT-oss, Gemma 4, Qwen 3.7 के साथ एक शक्तिशाली Zotero AI और MCP प्लगइन

TokenSpeed एक अत्यंत तेज़ LLM इनफर्उंड इंजन है।

एजेंटों के लिए स्थानीय AI ऐप और इन्फेरेंस इंजन। ओपन-वेट LLMs को स्थानीय रूप से चलाएं - निजी, आपके कंप्यूटर पर 100% ऑफ़लाइन। हमारे Discord से जुड़ें: https://discord.com/invite/8wGSsvmg4V

Codex CLI + Claude Code के लिए हल्का एजेंट वर्कस्टेशन - टास्क शेड्यूलर, git वर्कट्री और रिमोट कंट्रोल के साथ

🚀 OOTB Hugging Face समर्थन के साथ LLMs/VLMs के लिए Pytorch डिस्ट्रीब्यूटेड नेटिव ट्रेनिंग लाइब्रेरी

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp