on-device-ai

⚡ Nativer MLX Swift LLM Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, macOS + iOS iPhone-App.

Produktionsreife C++ Edge-AI-Engine für Videoanalysen und On-Device VLM auf Sophon, Rockchip RKNN und x86, inklusive visueller Orchestrierung, Echtzeit-OSD, Ereignisverwaltung und reproduzierbaren Benchmarks.

Android Input Method Editor (IME) basierend auf Whisper

Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Expert-Gewichte vom Speicher gestreamt werden. Dies ermöglicht den Betrieb von 35B- und 80B-Modellen mit geringem RAM-Verbrauch, auch auf dem iPhone.

Open-Source-lokales KI-SDK – Führen Sie KI geräteintern ohne Cloud, ohne API-Schlüssel aus. Unterstützt GGUF, RAG, Bild-, Musik- und Videoerstellung, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android, iOS.

On-Device Neural Engine

PennyWise liest automatisch Transaktions-SMS und wandelt sie mithilfe von On-Device-KI in strukturierte Finanzdaten um. Keine manuelle Eingabe, keine Cloud-Verarbeitung, vollständige Privatsphäre.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Lokale Generierung von Bildern

Android-Bibliothek für Voice Activity Detection (VAD). Unterstützt WebRTC VAD GMM, Silero VAD DNN und Yamnet VAD DNN Modelle.