on-device-ai

Boîte à outils prête pour la production pour exécuter l'IA localement.

Modèle de fondation de 14 Mo pour appareils miniatures : téléphones, objets connectés, domotique et robots.

Exécutez des LLM et VLM de pointe localement sur des appareils Qualcomm via NPU, GPU et CPU avec quelques lignes de code.

Inférence de Gemma 4 26B-A4B en environ 2 Go de RAM sur n'importe quel MacBook série M.

LiteRT-LM est le framework d'inférence open source de Google, prêt pour la production et haute performance, destiné au déploiement de grands modèles de langage sur des appareils en périphérie.

Quantification, noyaux, runtime et moteur d'inférence pour mobiles, objets connectés, domotique et robots.

IA sous votre contrôle : choisissez vos modèles, possédez vos données et éliminez la dépendance aux fournisseurs.

Un outil de gestion de fichiers alimenté par l'IA qui garantit la confidentialité en organisant les textes et images locaux. Utilisant les modèles Llama3.2 3B et Llava v1.6 avec le SDK Nexa, il scanne, restructure et organise intuitivement les fichiers pour un accès rapide et une récupération facile.

Exécutez Claude Code à 100 % sur l'appareil avec une IA locale sur Apple Silicon. Serveur Anthropic-API natif MLX. Inclut 6 modèles dont Muse-Glimmer 30B (désormais multimodal, lit les images, abliterated), Gemma 4 31B, Qwen 3.5 122B (65 tok/s), DeepSeek V4 Flash (1M ctx). Privé, hors ligne, prêt pour les environnements isolés. Conçu pour les flux de travail juridiques, de santé ou sous NDA.

Mano-P : Agent GUI-VLA open source pour appareils en périphérie. N°1 sur OSWorld. S'exécute localement sur Apple M4 Mac mini/MacBook, garantissant la confidentialité des données.

IA multimodale en temps réel sur appareil, avec des fonctionnalités similaires à GPT-Live

Zoo de modèles Core ML pour iOS/macOS — modèles PyTorch convertis en .mlpackage prêts à l'emploi, chacun avec un script de conversion et une application exemple SwiftUI. Les dépôts associés couvrent le framework Core AI d'Apple et les LLM sur appareil.

Méthode déclarative pour exécuter des modèles d'IA sur appareil dans React Native, propulsée par ExecuTorch.

Interagissez avec votre Mac et interrogez vos documents sans cloud. IA vocale locale et RAG sur appareil.

[ICLR 2019] ProxylessNAS : Recherche directe d'architecture neuronale sur une tâche et un matériel cibles

Exécution de LLM sur appareil en React Native avec compatibilité Vercel AI SDK.

Fine-tuning de LLM sur Mac avec Apple Silicon. Support natif MLX pour SFT, DPO, GRPO, Vision, TTS, STT, Embedding et OCR. API compatible avec Unsloth.

PhoneClaw transforme les téléphones en environnements d'exécution d'agents IA locaux avec des modèles embarqués, des compétences mobiles natives, LiveLand et une passerelle d'inférence Mac optionnelle.

Un laboratoire pratique pour construire, tester et évaluer des applications avec le framework Foundation Models d'Apple.

Implémentation PyTorch officielle de "EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM"

NativeMind : Votre assistant IA entièrement privé, open-source et exécuté localement

NobodyWho est un moteur d'inférence permettant d'exécuter des LLM localement et efficacement sur n'importe quel appareil.

Muesli - transcription et dictée de réunions locales natives pour macOS (alternative à Granola et WisprFlow)

PokeClaw (PocketClaw) — la première IA embarquée contrôlant votre téléphone Android. Basée sur Gemma 4, sans cloud ni clé API. Poke est l'abréviation de Pocket.

[CVPR 2025] Implémentation PyTorch officielle de "EdgeTAM: On-Device Track Anything Model".

TinyChatEngine : bibliothèque d'inférence LLM sur appareil.

Assistant IA open-source local-first pour vos données. Unifiez tâches, notes, documents, photos et favoris. Privé, auto-hébergé et extensible via API.

Moniteur système sans sudo pour Apple Silicon (interface SwiftUI native) avec suivi de l'ANE, du Media Engine et de la bande passante mémoire

Modèles Whisper optimisés pour le streaming et l'utilisation sur appareil

Couche mémoire partagée en un seul fichier pour tous vos agents, RAG sub-milliseconde sur texte, photo et vidéo sur Apple Silicon. Sans serveur. Sans API. Un seul fichier. Swift pur.