on-device-ai

可在本机运行 AI 的生产就绪工具包

14MB 基础模型，适用于微型设备；手机、可穿戴、智能家居与机器人。

在 Qualcomm 设备上以少量代码本地运行前沿 LLM 和 VLM，支持 NPU、GPU 和 CPU

Gemma 4 26B-A4B 推理在任何 M 系列 MacBook 上约 2 GB RAM

LiteRT-LM 是 Google 为边缘设备部署大型语言模型而打造的生产就绪、高性能、开源推理框架。

量化、核心、运行时与推理引擎，适用于移动设备、可穿戴设备、智能家居和机器人。

AI 你掌控：选择你的模型。拥有你的资料。消除供应商锁定。

一款 AI 驱动的文件管理工具，通过整理本地文本与图片来确保隐私。它使用 Llama3.2 3B 和 Llava v1.6 模型搭配 Nexa SDK，能直观地扫描、重构并整理文件，以实现快速、无缝的访问与轻松检索。

在 Apple Silicon 上 100% 本地执行 Claude Code，使用本地 AI。MLX 原生 Anthropic-API 服务器。包含 6 个模型，包括 Muse-Glimmer 30B（现在多模态——可读取图像，已被消除）、Gemma 4 31B、Qwen 3.5 122B（65 tok/s）、DeepSeek V4 Flash（1M 上下文）。私有、离线、可隔离。为 NDA / 法律 / 医疗工作流程而建。

Mano-P：用于边缘设备的开源 GUI-VLA 代理程序。在 OSWorld 上排名第一（专门领域，58.2%）。可在 Apple M4 Mac mini/MacBook 上本地运行 —— 确保所有数据不出设备。Mano-P 是一个开源 GUI-VLA 项目，支持在 Mac mini/MacBook 上或通过算力棒本地运行推理，实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理，支持复杂多步骤任务规划与执行。

具备类似 GPT-Live 功能的设备端实时多模态 AI

适用于 iOS/macOS 的 Core ML 模型库 — 将 PyTorch 模型转换为可以直接使用的 .mlpackage，每个模型都附带转换脚本与 SwiftUI 示例应用程序。同系列项目还涵盖了 Apple 的 Core AI 框架（iOS/macOS 27）与端侧 LLM。

借助 ExecuTorch 在 React Native 设备端以声明式方式运行 AI 模型。

与你的 Mac 对话、查询你的文档，无需云端。设备端语音 AI + RAG

[ICLR 2019] ProxylessNAS：针对目标任务与硬件的直接神经架构搜索

在配备 Apple Silicon 的 Mac 上微调 LLMs。支持 SFT、DPO、GRPO、Vision、TTS、STT、Embedding 与 OCR 微调 —— 基于 MLX 原生实现。兼容 Unsloth API。

在 React Native 中执行设备端 LLM，并相容 Vercel AI SDK

PhoneClaw 通过端侧模型、原生移动端 Skills、LiveLand 以及可选的 Mac Gateway 推理，将手机转化为本地 AI 代理运行时。

使用 Apple Foundation Models 框架构建、测试与评估应用程序的实作实验室。

「EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM」官方 PyTorch 实现

NativeMind：您的完全私密、开源、端侧 AI 助理

Muesli - macOS 本地会议转录与听写工具（Granola 与 WisprFlow 的替代方案）

NobodyWho 是一款推理引擎，让你能在任何设备上高效地在本地运行 LLM。

PokeClaw (PocketClaw) — 首款可在设备端执行并控制 Android 手机的 AI。搭载 Gemma 4，无需云端、无需 API 密钥。Poke 是 Pocket 的简称。

[CVPR 2025] “EdgeTAM: On-Device Track Anything Model”的官方 PyTorch 实现。

TinyChatEngine：设备端 LLM 推理库

无需 Root 的 Apple Silicon 系统监视器（原生 SwiftUI GUI），具备 ANE、媒体引擎与内存带宽追踪功能

本地优先、开源的资料 AI 助理。整合任务、笔记、文档、照片与书签。具备隐私、自托管，并可通过 API 扩展。

针对流式传输与设备端使用优化的 Whisper 模型

适用于 Apple Silicon 的共享单文件内存层，为所有智能体提供亚毫秒级的文本、照片和视频 RAG。无服务器。无 API。单文件。纯 Swift