on-device-ai

स्थानीय रूप से AI चलाने के लिए प्रोडक्शन-रेडी टूलकिट

छोटे उपकरणों के लिए 14MB फाउंडेशन मॉडल; फोन, पहनने योग्य डिवाइस, स्मार्ट होम और रोबोट।

कुछ ही लाइनों के कोड के साथ NPU, GPU और CPU पर Qualcomm उपकरणों पर स्थानीय रूप से फ्रंटियर LLMs और VLMs चलाएं

किसी भी M-सीरीज़ MacBook पर ~2 GB RAM में Gemma 4 26B-A4B अनुमान

LiteRT-LM एज डिवाइसों पर Large Language Models को तैनात करने के लिए Google का प्रोडक्शन-रेडी, उच्च-प्रदर्शन, ओपन-सोर्स इन्फेरेंस फ्रेमवर्क है।

मोबाइल, पहनने योग्य उपकरणों, स्मार्ट होम और रोबोट के लिए क्वांटाइजेशन, कर्नेल, रनटाइम और अनुमान इंजन।

AI जिसे आप नियंत्रित करते हैं: अपने मॉडल चुनें। अपना डेटा खुद रखें। वेंडर लॉक-इन को समाप्त करें।

एक AI-संचालित फ़ाइल प्रबंधन टूल जो स्थानीय टेक्स्ट और छवियों को व्यवस्थित करके गोपनीयता सुनिश्चित करता है। Nexa SDK के साथ Llama3.2 3B और Llava v1.6 मॉडल का उपयोग करते हुए, यह त्वरित, सहज पहुँच और आसान पुनर्प्राप्ति के लिए फ़ाइलों को सहजता से स्कैन, पुनर्गठित और व्यवस्थित करता है।

Apple Silicon पर लोकल AI के साथ Claude Code को 100% ऑन-डिवाइस चलाएं। MLX-native Anthropic-API सर्वर। 6 फाइटर्स (Muse-Glimmer 30B, Gemma 4 31B, Qwen 3.5 122B, DeepSeek V4 Flash सहित)। प्राइवेट, ऑफ़लाइन, एयरगैप-तैयार। NDA / कानूनी / स्वास्थ्य सेवा वर्कफ़्लो के लिए निर्मित।

Mano-P: एज उपकरणों के लिए ओपन-सोर्स GUI-VLA एजेंट। OSWorld पर #1 (विशिष्ट, 58.2%)। Apple M4 Mac mini/MacBook पर स्थानीय रूप से चलता है — कोई भी डेटा आपके डिवाइस से बाहर नहीं जाता।

GPT-Live के समान सुविधाओं के साथ ऑन-डिवाइस, रीयल-टाइम मल्टीмоdal AI

iOS/macOS के लिए कोर ML मॉडल ज़ू — PyTorch मॉडल जिन्हें उपयोग के लिए तैयार .mlpackage में बदला गया है, प्रत्येक में एक कन्वर्शन स्क्रिप्ट और SwiftUI सैंपल ऐप है।

ExecuTorch द्वारा संचालित, React Native में डिवाइस पर AI मॉडल चलाने का घोषणात्मक तरीका।

अपने Mac से बात करें, अपने दस्तावेज़ों की क्वेरी करें, किसी क्लाउड की आवश्यकता नहीं है। ऑन-डिवाइस वॉइस AI + RAG

[ICLR 2019] ProxylessNAS: टारगेट टास्क और हार्डवेयर पर डायरेक्ट न्यूरल आर्किटेक्चर सर्च

Apple Silicon वाले Mac पर LLM को फाइन-ट्यून करें। SFT, DPO, GRPO, Vision, TTS, STT, Embedding और OCR फाइन-ट्यूनिंग — MLX पर नेटिव रूप से। Unsloth-compatible API।

Vercel AI SDK संगतता के साथ React Native में ऑन-डिवाइस LLM निष्पादन

PhoneClaw ऑन-डिवाइस मॉडल, नेटिव मोबाइल Skills, LiveLand और वैकल्पिक Mac Gateway इन्फेरेंस के साथ फोन को लोकल AI एजेंट रनटाइम में बदल देता है।

Apple के Foundation Models फ्रेमवर्क के साथ ऐप्स बनाने, परीक्षण करने और मूल्यांकन करने के लिए एक व्यावहारिक लैब।

"EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM" का आधिकारिक PyTorch कार्यान्वयन

NativeMind: आपका पूरी तरह से निजी, ओपन-सोर्स, ऑन-डिवाइस AI सहायक

NobodyWho एक इन्फरेंस इंजन है जो आपको किसी भी डिवाइस पर स्थानीय रूप से और कुशलतापूर्वक LLMs चलाने की सुविधा देता है।

Muesli - macOS के लिए एजेंट-नेटिव लोकल मीटिंग ट्रांसक्रिप्शन और डिक्टेशन (Granola और WisprFlow का विकल्प)।

PokeClaw (PocketClaw) — पहला ऑन-डിവाइस AI जो आपके Android फोन को नियंत्रित करता है। Gemma 4, कोई क्लाउड नहीं, कोई API key नहीं। Poke का मतलब Pocket है।

[CVPR 2025] "EdgeTAM: ऑन-डिफ़ाइस ट्रैक एनीथिंग मॉडल" का आधिकारिक PyTorch कार्यान्वयन

TinyChatEngine: ऑन-डिवाइस LLM इन्फेरेंस लाइब्रेरी

आपके डेटा के लिए लोकल-फर्स्ट, ओपन-सोर्स AI असिस्टेंट। कार्यों, नोट्स, दस्तावेज़ों, फ़ोटो और बुकमार्क को एकीकृत करें। निजी, सेल्फ-होस्टेड और API के माध्यम से विस्तार योग्य।

बिना Sudo वाला Apple Silicon सिस्टम मॉनिटर (नेटिव SwiftUI GUI), जिसमें ANE / मीडिया इंजन / मेमोरी-बैंडविड्थ ट्रैकिंग शामिल है।

स्ट्रीमिंग और ऑन-डिवाइस उपयोग के लिए ऑप्टिमाइज़्ड Whisper मॉडल

आपके सभी एजेंट्स के लिए साझा सिंगल-फाइल मेमोरी लेयर, Apple Silicon पर टेक्स्ट, फोटो और वीडियो पर सब-मिलीसेकंड RAG। कोई सर्वर नहीं। कोई API नहीं। एक फाइल। शुद्ध Swift।