on-device-ai

可在本機執行 AI 的生產就緒工具組

14MB 基礎模型，適用於微型裝置；手機、穿戴裝置、智慧家庭與機器人。

在 Qualcomm 裝置上以少量程式碼本地執行前沿 LLM 與 VLM，支援 NPU、GPU 與 CPU

Gemma 4 26B-A4B 推理在任何 M 系列 MacBook 上約 2 GB RAM

LiteRT-LM 為 Google 針對邊緣設備部署大型語言模型所打造的生產就緒、高效能、開源推論框架。

量化、核心、執行時與推論引擎，適用於行動裝置、穿戴裝置、智慧家庭與機器人。

AI 你掌控：選擇你的模型。擁有你的資料。消除供應商鎖定。

一款 AI 驅動的檔案管理工具，透過整理本地文字與圖片來確保隱私。它使用 Llama3.2 3B 和 Llava v1.6 模型搭配 Nexa SDK，能直覺地掃描、重構並整理檔案，以實現快速、無縫的存取與輕鬆檢索。

在 Apple Silicon 上 100% 本地執行 Claude Code，使用本地 AI。MLX 原生 Anthropic-API 伺服器。包含 6 個模型，包括 Muse-Glimmer 30B（現在支援多模態——可讀取圖像，已被消除）、Gemma 4 31B、Qwen 3.5 122B（65 tok/s）、DeepSeek V4 Flash（1M 上下文）。私有、離線、可隔離。為 NDA / 法律 / 醫療工作流程而建。

Mano-P：用於邊緣裝置的開源 GUI-VLA 代理程式。在 OSWorld 上排名第一（專門領域，58.2%）。可在 Apple M4 Mac mini/MacBook 上本地運行 —— 確保所有資料不出裝置。Mano-P 是一個開源 GUI-VLA 專案，支援在 Mac mini/MacBook 上或透過算力棒本地運行推論，實現純視覺驅動的跨平台 GUI 自動化操作。資料完全本地處理，支援複雜多步驟任務規劃與執行。

具備類似 GPT-Live 功能的裝置端即時多模態 AI

適用於 iOS/macOS 的 Core ML 模型庫 — 將 PyTorch 模型轉換為可以直接使用的 .mlpackage，每個模型都附帶轉換腳本與 SwiftUI 範例應用程式。同系列專案還涵蓋了 Apple 的 Core AI 框架（iOS/macOS 27）與端側 LLM。

透過 ExecuTorch 在 React Native 裝置端以宣告式方式執行 AI 模型。

與你的 Mac 對話、查詢你的文件，無需雲端。裝置端語音 AI + RAG

[ICLR 2019] ProxylessNAS：針對目標任務與硬體的直接神經架構搜尋

在配備 Apple Silicon 的 Mac 上微調 LLMs。支援 SFT、DPO、GRPO、Vision、TTS、STT、Embedding 與 OCR 微調 —— 基於 MLX 原生實現。相容 Unsloth API。

在 React Native 中執行裝置端 LLM，並相容 Vercel AI SDK

PhoneClaw 透過端側模型、原生行動端 Skills、LiveLand 以及可選的 Mac Gateway 推理，將手機轉化為本地 AI 代理執行階段。

使用 Apple Foundation Models 框架建構、測試與評估應用程式的實作實驗室。

「EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM」官方 PyTorch 實作

NativeMind：您的完全私密、開源、端側 AI 助理

Muesli - macOS 本地會議轉錄與聽寫工具（Granola 與 WisprFlow 的替代方案）

NobodyWho 是一款推理引擎，讓你能在任何裝置上高效地在本機執行 LLM。

PokeClaw (PocketClaw) — 首款可在裝置端執行並控制 Android 手機的 AI。搭載 Gemma 4，無需雲端、無需 API 金鑰。Poke 是 Pocket 的簡稱。

[CVPR 2025] 「EdgeTAM: On-Device Track Anything Model」的官方 PyTorch 實作。

TinyChatEngine：裝置端 LLM 推論庫

無需 Root 的 Apple Silicon 系統監視器（原生 SwiftUI GUI），具備 ANE、媒體引擎與記憶體頻寬追蹤功能

本機優先、開源的資料 AI 助理。整合任務、筆記、文件、相片與書籤。具備隱私、自我主機架設，並可透過 API 擴充。

針對串流與裝置端使用優化的 Whisper 模型

適用於 Apple Silicon 的共用單一檔案記憶體層，為所有代理提供次毫秒級的文字、照片和影片 RAG。無伺服器。無 API。單一檔案。純 Swift