on-device-ai

Produktionsbereites Toolkit zum lokalen Ausführen von KI

14-MB-Grundmodell für kleine Geräte; Smartphones, Wearables, Smart Home und Roboter.

Führe moderne LLMs und VLMs lokal auf Qualcomm-Geräten über NPU, GPU und CPU mit wenigen Zeilen Code aus.

Gemma 4 26B-A4B Inferenz in ca. 2 GB RAM auf jedem M-Series MacBook

LiteRT-LM ist das produktionsreife, leistungsstarke Open-Source-Inferenz-Framework von Google zur Bereitstellung von Large Language Models auf Edge-Geräten.

Quantisierung, Kernels, Laufzeit und Inferenz-Engine für Mobilgeräte, Wearables, Smart Home und Roboter.

KI unter Ihrer Kontrolle: Wählen Sie Ihre Modelle. Behalten Sie die Kontrolle über Ihre Daten. Vermeiden Sie Vendor Lock-in.

Ein KI-gestütztes Dateiverwaltungstool, das die Privatsphäre durch die Organisation lokaler Texte und Bilder gewährleistet. Es nutzt Llama3.2 3B- und Llava v1.6-Modelle mit dem Nexa SDK, um Dateien intuitiv zu scannen, zu restrukturieren und für schnellen, reibungslosen Zugriff zu organisieren.

Claude Code zu 100 % lokal auf Apple Silicon mit lokaler KI ausführen. MLX-nativer Anthropic-API-Server. 6 Modelle inkl. Muse-Glimmer 30B (jetzt multimodal – liest Bilder, abliteriert), Gemma 4 31B, Qwen 3.5 122B (65 Tok/s), DeepSeek V4 Flash (1M Konstitutionskontext). Privat, offline, airgap-fähig. Entwickelt für NDA-, Rechts- und Gesundheits-Workflows.

Mano-P: Open-Source-GUI-VLA-Agent für Edge-Geräte. #1 auf OSWorld (spezialisiert, 58,2 %). Läuft lokal auf Apple M4 Mac mini/MacBook – keine Daten verlassen Ihr Gerät. Mano-P ist ein Open-Source-GUI-VLA-Projekt, das Inferenz lokal auf Mac mini/MacBook oder über KI Beschleuniger unterstützt und rein visuell gesteuerte, plattformübergreifende GUI-Automatisierung ermöglicht. Daten werden vollständig lokal verarbeitet, mit Unterstützung für komplexe, mehrstufige Aufgabenplanung und -ausführung.

On-Device, multimodale Echtzeit-KI mit ähnlichen Funktionen wie GPT-Live

Core ML Model Zoo für iOS/macOS – PyTorch-Modelle konvertiert in einsatzbereite .mlpackage, jeweils mit Konvertierungsskript und SwiftUI-Beispiel-App. Verwandte Repositories decken Apples Core AI Framework (iOS/macOS 27) und On-Device-LLMs ab.

Deklarative Möglichkeit, KI-Modelle in React Native auf dem Gerät auszuführen, angetrieben von ExecuTorch.

Mit dem Mac sprechen, Dokumente abfragen, keine Cloud erforderlich. Sprach-KI auf dem Gerät + RAG

[ICLR 2019] ProxylessNAS: Direkte neuronale Architektursuche für Zielaufgaben und -hardware

Fine-Tuning von LLMs auf Ihrem Mac mit Apple Silicon. SFT-, DPO-, GRPO-, Vision-, TTS-, STT-, Embedding- und OCR-Fine-Tuning – nativ auf MLX. Unsloth-kompatible API.

Ausführung von LLMs auf dem Gerät in React Native mit Kompatibilität zum Vercel AI SDK.

PhoneClaw verwandelt Smartphones in lokale KI-Agenten-Runtimes mit On-Device-Modellen, nativen mobilen Skills, LiveLand und optionalem Mac-Gateway-Inferenz.

Ein praktisches Labor zum Erstellen, Testen und Evaluieren von Apps mit dem Foundation Models-Framework von Apple.

Offizielle PyTorch-Implementierung von „EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM“

NativeMind: Ihr vollständig privater, Open-Source-KI-Assistent auf dem Gerät

NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.

Muesli – Agenten-native lokale Meeting-Transkription + Diktat für macOS (Alternative zu Granola + WisprFlow)

PokeClaw (PocketClaw) – die erste On-Device-KI, die dein Android-Smartphone steuert. Gemma 4, keine Cloud, kein API-Schlüssel. Poke steht kurz für Pocket.

[CVPR 2025] Offizielle PyTorch-Implementierung von „EdgeTAM: On-Device Track Anything Model“

TinyChatEngine: LLM-Inferenzbibliothek für Endgeräte

Local-First, Open-Source-KI-Assistent für Ihre Daten. Vereinheitlicht Aufgaben, Notizen, Dokumente, Fotos und Lesezeichen. Privat, selbst gehostet und über APIs erweiterbar.

Sudoloser Apple Silicon Systemmonitor (native SwiftUI GUI) mit ANE-, Media Engine- und Speicherbandbreiten-Tracking

Optimierte Whisper-Modelle für Streaming und den Einsatz auf Geräten

Gemeinsame, einteilige Speicherebene für alle Ihre Agenten, Sub-Millisekunden-RAG über Text, Foto und Video auf Apple Silicon. Kein Server. Keine API. Eine Datei. Reines Swift