on-device-ai

⚡ Serveur d'inférence LLM natif en Swift avec MLX pour Apple Silicon. API compatible OpenAI, streaming SSD pour les modèles MoE de plus de 100 milliards de paramètres, compression de cache KV TurboQuant, application mobile pour iOS et macOS.

Moteur d'IA edge en C++ de qualité production pour l'analyse vidéo et les VLM sur appareil à travers Sophon, Rockchip RKNN et x86, avec orchestration visuelle, OSD en temps réel, événements et benchmarks reproductibles.

Éditeur de méthodes d’entrée Android (IME) basé sur Whisper

Swiftlet est un runtime Swift et Metal qui exécute localement de grands modèles Qwen Mixture-of-Experts sur les appareils Apple en diffusant les poids des experts depuis le stockage, permettant aux modèles 35B et 80B de fonctionner avec peu de RAM, y compris sur iPhone.

SDK d'IA locale open source - exécutez l'IA sur l'appareil sans cloud ni clés API. Supporte GGUF, RAG, génération d'images, de musique et de vidéo, synthèse vocale, inférence P2P, et plus encore. Multiplateforme : Linux, macOS, Windows, Android, iOS.

Moteur neuronal sur l'appareil

PennyWise lit automatiquement les SMS de transaction et les transforme en données financières organisées grâce à une IA locale. Aucune saisie manuelle, aucun traitement cloud, confidentialité totale.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Générer des images localement

Bibliothèque de détection d'activité vocale (VAD) pour Android. Supporte les modèles WebRTC VAD GMM, Silero VAD DNN et Yamnet VAD DNN.