on-device-ai

⚡ Server inferensi LLM MLX Swift native untuk Apple Silicon. API yang kompatibel dengan OpenAI, streaming SSD untuk model MoE 100B+, kompresi cache KV TurboQuant, aplikasi MACOS + iOS iPhone.

Engine AI tepi C++ kelas produksi untuk analitik video dan VLM pada perangkat di Sophon, Rockchip RKNN, dan x86, dengan orkestrasi visual, OSD waktu nyata, peristiwa, dan tolok ukur yang dapat direproduksi.

Android Input Method Editor (IME) berbasis Whisper

Swiftlet adalah runtime Swift dan Metal yang menjalankan model Qwen Mixture-of-Experts secara lokal di perangkat Apple dengan melakukan streaming bobot expert dari penyimpanan, memungkinkan model 35B dan 80B berjalan dengan RAM rendah, termasuk di iPhone.

SDK AI lokal open-source - jalankan AI di perangkat tanpa cloud, tanpa kunci API. Mendukung GGUF, RAG, generasi gambar, musik, dan video, speech-to-text, inferensi P2P, dan lainnya. Lintas platform: Linux, macOS, Windows, Android, iOS.

Neural Engine pada perangkat

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

PennyWise secara otomatis membaca SMS transaksi dan mengubahnya menjadi data keuangan terorganisir dengan bantuan AI di perangkat. Tanpa entri manual, tanpa pemrosesan cloud, privasi penuh.

Hasilkan gambar secara lokal

Pustaka Android Voice Activity Detection (VAD). Mendukung model WebRTC VAD GMM, Silero VAD DNN, Yamnet VAD DNN.