gguf

सैकड़ों मॉडल और प्रदाता। यह पता लगाने के लिए एक कमांड कि आपके हार्डवेयर पर क्या चलता है।

एक ही फ़ाइल के साथ LLMs वितरित करें और चलाएं।

⚡ प्योर-Rust WebGPU इन्फेरेंस इंजन — OpenAI-API संगत, GGUF नेटिव, किसी भी GPU पर चलता है। कोई Python नहीं। कोई llama.cpp नहीं। सिंगल बाइनरी।

एक YAML से LLM को फाइन-ट्यून करें। लेयर स्ट्रीमिंग 4 GB लैपटॉप GPU पर 8B मॉडल को प्रशिक्षित करती है।

ऑफ़लाइन AI का स्विस आर्मी नाइफ। अपने फ़ोन या Mac पर चैट करें, देखें, बोलें और इमेज जनरेट करें — GGUF LLMs, विजन, Whisper स्पीच-टू-टेक्स्ट, Stable Diffusion, टूल कॉलिंग और लोकल-नेटवर्क सर्वर। आपके CPU, GPU या NPU पर चलता है। कोई खाता नहीं, कोई API की नहीं, शून्य डेटा आपके डिवाइस से बाहर जाता है।

Maid स्थानीय रूप से llama.cpp मॉडल और दूरस्थ रूप से Anthropic, DeepSeek, Ollama, Mistral और OpenAI मॉडल के साथ इंटरफेस करने के लिए एक मुफ़्त और ओपन-सोर्स एप्लिकेशन है।

Ollama सीखें, CPU पर लार्ज लैंग्वेज मॉडल डिप्लॉयमेंट, ऑनलाइन पढ़ने का पता: https://datawhalechina.github.io/handy-ollama/

लोकल फर्स्ट AI एजेंट। लोकल AI मॉडल के लिए अनुकूलित। लंबा संदर्भ विंडो। उचित टूल कॉलिंग। आपके डिवाइस पर निजी तौर पर चलता है।

ComfyUI में LLM एजेंट फ्रेमवर्क जिसमें MCP सर्वर, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0, और FLUX प्रॉम्प्ट नोड्स शामिल हैं, Feishu, discord तक पहुंच, और o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao जैसे सभी llms के समान openai / aisuite इंटरफेस के अनुकूल है। स्थानीय llms, vlm, gguf जैसे llama-3.3 Janus-Pro, Linkage graphRAG के अनुकूलित।

llama.cpp के लिए node.js बाइंडिंग के साथ अपने कंप्यूटर पर स्थानीय रूप से AI मॉडल चलाएं। जनरेशन स्तर पर मॉडल आउटपुट पर JSON स्कीमा लागू करें

16+ मॉडल परिवारों के लिए ggml स्पीच-टू-टेक्स्ट अनुमान

अपने Ollama मॉडल को प्रबंधित करने के लिए Go

उच्च-सटीकता वाले लो-बिट LLM अनुमान के लिए एक SOTA परिमाणीकरण एल्गोरिदम, जिसे CPU/XPU/CUDA के लिए सहज रूप से अनुकूलित किया गया है, मल्टी-डेटाटाइप समर्थन और vLLM, SGLang, और Transformers के साथ पूर्ण संगतता के साथ।

चीनी, बोलियों, लहजों और बहुभाषी भाषण के लिए ओपन-सोर्स LLM-आधारित ASR मॉडल परिवार, FunASR, vLLM, स्ट्रीमिंग और llama.cpp रनटाइम के साथ।

OuteTTS मॉडल के लिए इंटरफ़ेस।

एजेंटों के लिए स्थानीय AI ऐप और इन्फेरेंस इंजन। ओपन-वेट LLMs को स्थानीय रूप से चलाएं - निजी, आपके कंप्यूटर पर 100% ऑफ़लाइन। हमारे Discord से जुड़ें: https://discord.com/invite/8wGSsvmg4V

AI/ML मॉडल, डेटासेट, कोड और कॉन्फ़िगरेशन को OCI आर्टिफैक्ट में पैक और वर्शन करने के लिए CNCF का एक ओपन सोर्स DevOps टूल।

प्लग-एंड-प्ले लोकल AI स्टूडियो: अनसेंसर्ड चैट, इमेज और वीडियो जनरेशन, कोडिंग एजेंट। यह 100% ऑफलाइन abliterated LLMs और ComfyUI चलाता है। एक इंस्टॉलर, कोई Docker नहीं, कोई क्लाउड नहीं।

Apple Silicon के लिए नेटिव LLM इन्फरेंस सर्वर। OpenAI और Anthropic API के साथ संगत। Python की आवश्यकता नहीं। इसमें चैट, एजेंट मोड और टूल कॉलिंग के साथ MLX Core macOS ऐप शामिल है।

Hugging Face मॉडल के लिए इन्फरेंस मेमोरी आवश्यकताओं का अनुमान लगाने के लिए एक पायथन आधारित CLI

LLM.swift एक सरल और पठनीय लाइब्रेरी है जो आपको macOS, iOS, watchOS, tvOS और visionOS के लिए स्थानीय रूप से बड़े भाषा मॉडल के साथ आसानी से इंटरैक्ट करने की अनुमति देती है।

शुद्ध Java में Llama 3+ इन्फरेंस

आज Android पर उपलब्ध सबसे उन्नत, पूरी तरह से ऑफ़लाइन क्लाइंट-साइड AI सूट।

बिना ROOT के Android के लिए ओपन-सोर्स रीयल-टाइम स्क्रीन ट्रांसलेटर, जो गेम, विज़ुअल नॉवेल और मंगा के लिए उपयुक्त है। यह ऑन-डिवाइस और क्लाउड OCR, ऑफ़लाइन LLM, विभिन्न अनुवाद सेवाओं और TTS का समर्थन करता है।

Go विथ योर ओन इंटेलिजेंस - Go एप्लिकेशन जो हार्डवेयर एक्सेलेरेशन का उपयोग करके स्थानीय इन्फरेंस के लिए सीधे llama.cpp को एकीकृत करते हैं

विज़न-लैंग्वेज मॉडल्स के लिए ComfyUI नोड्स: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V। साथ ही ओपन-वोकैबुलरी डिटेक्शन, SAM2/SAM3 सेगमेंटेशन, वीडियो टेम्पोरल रीजनिंग, llama.cpp के माध्यम से GGUF, और होस्टेड LLM/VLM API।

llama.cpp का उपयोग करके एम्बेडेड वेक्टर सर्च और सिमेंटिक एम्बेडिंग के लिए Go लाइब्रेरी।

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.