on-device-ai

⚡ 适用于 Apple Silicon 的原生 MLX Swift LLM 推理服务器。兼容 OpenAI API、支持 100B+ MoE 模型的 SSD 流、TurboQuant KV 缓存压缩，以及 macOS + iOS iPhone 应用程序。

基于 Whisper 的 Android 输入法 (IME)

Swiftlet 是一个 Swift 与 Metal 运行时，通过从存储空间串流专家权重，在 Apple 设备上本地执行大型 Qwen Mixture-of-Experts 模型，使 35B 与 80B 模型能在低内存下执行，包含 iPhone。

开源本地 AI SDK - 在设备端运行 AI，无需云端、无需 API 密钥。支持 GGUF、RAG、图像、音乐与视频生成、语音转文字、P2P 推理等。跨平台：Linux、macOS、Windows、Android、iOS。

设备端神经网络引擎

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

PennyWise 可自动读取交易短信，并透过装置端 AI 将其转换为结构化的财务资料。无需手动输入、无需云端处理，确保完整隐私。

在本地生成图像

Android 语音活动检测 (VAD) 库。支持 WebRTC VAD GMM、Silero VAD DNN 与 Yamnet VAD DNN 模型。

An on-device LLM understands your entire life, then proactively offers to get your work done through computer use.