on-device-ai

Apple Silicon के लिए नेटिव MLX Swift LLM इन्फरेंस सर्वर। OpenAI-संगत API, 100B+ MoE मॉडल के लिए SSD स्ट्रीमिंग, TurboQuant KV कैश कंप्रेशन, और MACOS + iOS iPhone ऐप।

Sophon, Rockchip RKNN, और x86 पर वीडियो एनालिटिक्स और ऑन-डिवाइस VLM के लिए प्रोडक्शन-ग्रेड C++ एज AI इंजन, जिसमें विजुअल ऑर्केस्ट्रेशन, रियल-टाइम OSD, इवेंट्स और पुनरुत्पादनीय बेंचमार्क शामिल हैं।

Whisper पर आधारित Android Input Method Editor (IME)

Swiftlet एक Swift और Metal रनटाइम है जो स्टोरेज से एक्सपर्ट वेट्स को स्ट्रीम करके Apple डिवाइस पर बड़े Qwen Mixture-of-Experts मॉडल को स्थानीय रूप से चलाता है, जिससे iPhone सहित कम RAM पर भी 35B और 80B मॉडल चलाना संभव होता है।

ओपन-सोर्स स्थानीय AI SDK - बिना क्लाउड, बिना API कुंजियों के डिवाइस पर AI चलाएं। GGUF, RAG, इमेज, म्यूजिक और वीडियो जनरेशन, स्पीच-टू-टेक्स्ट, P2P इन्फर्न्स और बहुत कुछ समर्थित है। क्रॉस-प्लेटफ़ॉर्म: Linux, macOS, Windows, Android, iOS।

ऑन-डिवाइस न्यूरल इंजन।

PennyWise स्वचालित रूप से ट्रांजेक्शन SMS संदेशों को पढ़ता है और उन्हें ऑन-डिवाइस AI सहायता के साथ व्यवस्थित वित्तीय डेटा में बदल देता है। कोई मैनुअल एंट्री नहीं, कोई क्लाउड प्रोसेसिंग नहीं, पूर्ण गोपनीयता।

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

स्थानीय रूप से इमेज जेनरेट करें

Android Voice Activity Detection (VAD) लाइब्रेरी। WebRTC VAD GMM, Silero VAD DNN, Yamnet VAD DNN मॉडल का समर्थन करता है।