llama-cpp

एक ही फ़ाइल के साथ LLMs वितरित करें और चलाएं।

ऑन-डिवाइस STT और कस्टम AI एन्हांसमेंट मॉडल के साथ सबसे तेज़ macOS डिक्टेशन ऐप। Windows प्री-बिल्ड उपलब्ध है

एक सेल्फ-होस्टेड, ऑफ़लाइन, ChatGPT जैसा चैटबॉट। Llama 2 द्वारा संचालित। 100% निजी, कोई भी डेटा आपके डिवाइस से बाहर नहीं जाता है। नया: Code Llama समर्थन!

कोड की एक ही लाइन बदलकर किसी भी LLM के लिए GPT को स्वैप करें। Xinference आपको क्लाउड, ऑन-प्रिमाइस या अपने लैपटॉप पर ओपन-सोर्स, स्पीच और मल्टीमॉडल मॉडल चलाने की अनुमति देता है — यह सब एक एकीकृत, प्रोडक्शन-रेडी इन्फेरेंस API के माध्यम से।

मंदारिन, कैंटोनीज़, अंग्रेजी, जापानी और कोरियाई ASR, भाषा पहचान, भावना पहचान और ऑडियो इवेंट डिटेक्शन के लिए ओपन-सोर्स SenseVoiceSmall मॉडल।

अपने PC, Mac, या Linux बॉक्स को AI सर्वर में बदलें। LLM इन्फेंस, चैट UI, वॉयस, एजेंट, वर्कफ़्लो, RAG, और इमेज जनरेशन।

आपके स्थानीय डिवाइस पर LLM (🦙LLaMA/LLaVA) को कुशलतापूर्वक चलाने के लिए एक C#/.NET लाइब्रेरी।

ओपन-सोर्स AI कैमरा स्किल्स प्लेटफ़ॉर्म, AI NVR और CCTV सर्विलांस। Qwen, DeepSeek, SmolVLM, LLaVA, YOLO के साथ स्थानीय VLM वीडियो विश्लेषण। Telegram, Discord या Slack के माध्यम से घर की सुरक्षा करने वाला LLM-संचालित एजेंट।

ऑफ़लाइन AI का स्विस आर्मी नाइफ। अपने फ़ोन या Mac पर चैट करें, देखें, बोलें और इमेज जनरेट करें — GGUF LLMs, विजन, Whisper स्पीच-टू-टेक्स्ट, Stable Diffusion, टूल कॉलिंग और लोकल-नेटवर्क सर्वर। आपके CPU, GPU या NPU पर चलता है। कोई खाता नहीं, कोई API की नहीं, शून्य डेटा आपके डिवाइस से बाहर जाता है।

उपभोक्ता और विषम हार्डवेयर के लिए LLM स्पेक्युलेटिव इन्फेरेंस सर्वर

Maid स्थानीय रूप से llama.cpp मॉडल और दूरस्थ रूप से Anthropic, DeepSeek, Ollama, Mistral और OpenAI मॉडल के साथ इंटरफेस करने के लिए एक मुफ़्त और ओपन-सोर्स एप्लिकेशन है।

लोकल फर्स्ट AI एजेंट। लोकल AI मॉडल के लिए अनुकूलित। लंबा संदर्भ विंडो। उचित टूल कॉलिंग। आपके डिवाइस पर निजी तौर पर चलता है।

सेल्फ-होस्टेड LLM टूल-कॉलिंग और मल्टी-स्टेप एजेंटिक वर्कफ़्लो के लिए एक Python फ्रेमवर्क

llama.cpp के लिए node.js बाइंडिंग के साथ अपने कंप्यूटर पर स्थानीय रूप से AI मॉडल चलाएं। जनरेशन स्तर पर मॉडल आउटपुट पर JSON स्कीमा लागू करें

LLM के साथ Unity में कैरेक्टर बनाएं!

अपने Mac से बात करें, अपने दस्तावेज़ों की क्वेरी करें, किसी क्लाउड की आवश्यकता नहीं है। ऑन-डिवाइस वॉइस AI + RAG

चीनी, बोलियों, लहजों और बहुभाषी भाषण के लिए ओपन-सोर्स LLM-आधारित ASR मॉडल परिवार, FunASR, vLLM, स्ट्रीमिंग और llama.cpp रनटाइम के साथ।

आपके LLM के लिए एक आरामदायक घर।

llama.go शुद्ध Golang में llama.cpp जैसा है!

llama.cpp की React Native बाइंडिंग

Docker Compose का उपयोग करके AI एजेंट बनाएं और चलाएं। ओपन-सोर्स LLM, टूल और एजेंट रनटाइम को ऑर्केस्ट्रेट करने के लिए उपयोग के लिए तैयार उदाहरणों का संग्रह।

Cotabby आपके पूरे Mac के लिए एक लोकल AI ऑटोकंप्लीट है। ओपन सोर्स। ऑन-डिवाइस। जहाँ भी आप टाइप करें।

बिना Sudo वाला Apple Silicon सिस्टम मॉनिटर (नेटिव SwiftUI GUI), जिसमें ANE / मीडिया इंजन / मेमोरी-बैंडविड्थ ट्रैकिंग शामिल है।

बिना ROOT के Android के लिए ओपन-सोर्स रीयल-टाइम स्क्रीन ट्रांसलेटर, जो गेम, विज़ुअल नॉवेल और मंगा के लिए उपयुक्त है। यह ऑन-डिवाइस और क्लाउड OCR, ऑफ़लाइन LLM, विभिन्न अनुवाद सेवाओं और TTS का समर्थन करता है।

C में लिखा गया एक मिनिमलिस्ट, टर्मिनल-नेटिव कोडिंग एजेंट।

AI कोडर के लिए स्व-मूल्यांकन साक्षात्कार

विज़न-लैंग्वेज मॉडल्स के लिए ComfyUI नोड्स: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V। साथ ही ओपन-वोकैबुलरी डिटेक्शन, SAM2/SAM3 सेगमेंटेशन, वीडियो टेम्पोरल रीजनिंग, llama.cpp के माध्यम से GGUF, और होस्टेड LLM/VLM API।

GraphRAG-rs, GraphRAG (Graph-based Retrieval Augmented Generation) का एक उच्च-प्रदर्शन वाला, अत्याधुनिक Rust कार्यान्वयन है जो दस्तावेज़ों से नॉलेज ग्राफ बनाता है और कॉन्फ़िगर करने योग्य एंटिटी एक्सट्रैक्शन और लोकल LLM एकीकरण के साथ नेचुरल लैंग्वेज क्वेरी को सक्षम बनाता है।

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp