on-device-ai

Toolkit siap produksi untuk menjalankan AI secara lokal

Model fondasi 14MB untuk perangkat kecil; ponsel, perangkat pakai, rumah pintar, dan robot.

Jalankan LLM dan VLM terdepan secara lokal di perangkat Qualcomm melalui NPU, GPU, dan CPU hanya dengan beberapa baris kode

Inferensi Gemma 4 26B-A4B dalam ~2 GB RAM pada MacBook seri M apa pun.

LiteRT-LM adalah kerangka kerja inferensi open source berkinerja tinggi yang siap produksi dari Google untuk menyebarkan model bahasa besar pada perangkat edge.

Kuantisasi, kernel, runtime, dan mesin inferensi untuk perangkat seluler, perangkat yang dapat dikenakan, rumah pintar, dan robot.

AI yang Anda Kendalikan: Pilih model Anda. Miliki data Anda. Hilangkan ketergantungan pada vendor.

Alat manajemen file berbasis AI yang menjamin privasi dengan mengatur teks dan gambar lokal. Menggunakan model Llama3.2 3B dan Llava v1.6 dengan Nexa SDK, alat ini memindai, menyusun ulang, dan mengatur file secara intuitif untuk akses cepat dan pengambilan yang mudah.

Jalankan Claude Code 100% di perangkat dengan AI lokal di Apple Silicon. Server Anthropic-API asli MLX. 6 model termasuk Muse-Glimmer 30B (sekarang multimodal — membaca gambar), Gemma 4 31B, Qwen 3.5 122B (65 tok/s), DeepSeek V4 Flash (1M ctx). Pribadi, offline, siap untuk airgap. Dibangun untuk alur kerja NDA / hukum / kesehatan.

Mano-P: Agen GUI-VLA sumber terbuka untuk perangkat edge. Berjalan secara lokal di Apple M4 Mac mini/MacBook — data tidak pernah meninggalkan perangkat Anda.

AI multimodal waktu nyata pada perangkat dengan fitur yang mirip dengan GPT-Live

Koleksi model Core ML untuk iOS/macOS — model PyTorch yang dikonversi menjadi .mlpackage siap pakai, masing-masing dilengkapi skrip konversi dan aplikasi contoh SwiftUI. Repositori terkait mencakup framework Core AI Apple (iOS/macOS 27) dan LLM on-device.

Cara deklaratif untuk menjalankan model AI di React Native secara on-device, didukung oleh ExecuTorch.

Bicaralah dengan Mac Anda, kueri dokumen Anda, tidak perlu cloud. AI suara di perangkat + RAG

[ICLR 2019] ProxylessNAS: Pencarian Arsitektur Neural Langsung pada Tugas Target dan Perangkat Keras

Fine-tune LLM di Mac Anda dengan Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding, dan fine-tuning OCR — secara native di MLX. API yang kompatibel dengan Unsloth.

Eksekusi LLM pada perangkat di React Native dengan kompatibilitas Vercel AI SDK

PhoneClaw mengubah ponsel menjadi runtime AI agent lokal dengan model di perangkat, Skills seluler native, LiveLand, dan inferensi Mac Gateway opsional.

Lab praktis untuk membangun, menguji, dan mengevaluasi aplikasi dengan kerangka kerja Foundation Models dari Apple.

Implementasi resmi PyTorch dari "EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM"

NativeMind: Asisten AI on-device yang sepenuhnya privat dan sumber terbuka

NobodyWho adalah mesin inferensi yang memungkinkan Anda menjalankan LLM secara lokal dan efisien di perangkat apa pun.

Muesli - transkripsi rapat lokal berbasis agen + dikte untuk macOS (alternatif Granola + WisprFlow)

PokeClaw (PocketClaw) — AI on-device pertama yang mengontrol ponsel Android Anda. Gemma 4, tanpa cloud, tanpa API key. Poke adalah singkatan dari Pocket.

[CVPR 2025] Implementasi PyTorch resmi untuk "EdgeTAM: On-Device Track Anything Model"

TinyChatEngine: Pustaka Inferensi LLM Pada Perangkat

Monitor sistem Apple Silicon tanpa Sudoless (GUI SwiftUI native) dengan pelacakan ANE / Media Engine / bandwidth memori

Asisten AI open-source yang mengutamakan penyimpanan lokal untuk data Anda. Menyatukan tugas, catatan, dokumen, foto, dan bookmark. Bersifat pribadi, self-hosted, dan dapat diperluas melalui API.

Model Whisper yang dioptimalkan untuk streaming dan penggunaan di perangkat

Lapisan memori berkas tunggal bersama untuk semua agen Anda, RAG sub-milidetik untuk teks, foto, dan video di Apple Silicon. Tanpa server. Tanpa API. Satu berkas. Swift murni.