on-device-ai

適用於 Apple Silicon 的共用單一檔案記憶體層，為所有代理提供次毫秒級的文字、照片和影片 RAG。無伺服器。無 API。單一檔案。純 Swift

⚡ 適用於 Apple Silicon 的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 100B+ MoE 模型的 SSD 串流、TurboQuant KV 快取壓縮，以及 macOS + iOS iPhone 應用程式。

Swiftlet 是一個 Swift 與 Metal 執行時期，透過從儲存空間串流專家權重，在 Apple 裝置上本地執行大型 Qwen Mixture-of-Experts 模型，使 35B 與 80B 模型能在低記憶體下執行，包含 iPhone。

基於 Whisper 的 Android 輸入法 (IME)

開源本地 AI SDK - 在裝置端執行 AI，無需雲端、無需 API 金鑰。支援 GGUF、RAG、影像、音樂與影片生成、語音轉文字、P2P 推理等。跨平台：Linux、macOS、Windows、Android、iOS。

裝置端神經引擎

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

PennyWise 可自動讀取交易簡訊，並透過裝置端 AI 將其轉換為結構化的財務資料。無需手動輸入、無需雲端處理，確保完整隱私。

在地端生成影像

Android 語音活動檢測 (VAD) 函式庫。支援 WebRTC VAD GMM、Silero VAD DNN 與 Yamnet VAD DNN 模型。