edge-ai

高性能的 NATS.io 服务器，适用于云端与边缘原生消息系统。

PyTorch 版 YOLOv3、YOLOv3-SPP 与 YOLOv3-tiny 的实时目标检测实现，支持训练、验证、推理与多格式导出

LiteRT-LM 是 Google 为边缘设备部署大型语言模型而打造的生产就绪、高性能、开源推理框架。

量化、核心、运行时与推理引擎，适用于移动设备、可穿戴设备、智能家居和机器人。

开源个人云端操作系统，为始终在线代理设计

FEDML - 用于大规模分布式训练、模型部署与联邦学习的统一且具扩展性的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 任务。基于此库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的大规模生成式 AI 平台。

离线 AI 的瑞士军刀。在手机或 Mac 上进行聊天、视觉识别、语音对话与图像生成——支持 GGUF LLMs、视觉、Whisper 语音转文字、Stable Diffusion、工具调用以及本地网络服务器。可在 CPU、GPU 或 NPU 上运行。无需账号、无需 API 密钥，数据零外泄。

一款由 ggml 驱动的一体化纯 C++ 音频模型推理引擎。支持 TTS、STT、VAD、语音转换、音乐生成等功能，具备高度优化的性能，无 Python 依赖。

适用于 K210 RISC-V 的 MicroPython，让边缘 AI 开发更轻松

Microsoft AI for Good Lab — 生物多样性研究中心。用于生物多样性监测与保护的开源 AI 模型、边缘设备与工具。提供 MegaDetector、SPARROW、PytorchWildlife、Bioacoustics 等项目。

DefraDB 是一个点对点、边缘优先的数据库。它是 Source 生态系统的核心数据存储系统。

Android 17 本地 LLM 原型，使用 Jetpack Compose 与 ONNX Runtime 进行离线 AI 推理实验。

在边缘设备上使用 Python 轻松创建 AI 项目

实时语音助手 —— WebRTC 流式传输、faster-whisper ASR、本地 LLM、Vui Nano (300M) TTS。兼容 OpenAI Realtime API。支持语音克隆、插话打断，在 4090 上约有 9 倍实时性能。采用 Apache 2.0 许可证。

Hailo Model Zoo 包含预训练模型以及完整的构建与评估环境

语音转文字性能评测框架

EfficientSAM3 通过渐进式知识蒸馏将 SAM3 压缩为轻量且适合边缘设备的模型，以实现快速的提示式概念分割与追踪。

生产级 C++ 边缘 AI 引擎，适用于 Sophon、Rockchip RKNN 与 x86 平台的视频分析与设备端 VLM，具备视觉编排、实时 OSD、事件处理与可重现的基准测试。

AI-in-a-Box 利用 Microsoft 全球的专业知识来开发并提供 AI 与 ML 解决方案给技术社区。我们的目标是提供一系列精选的解决方案加速器，协助工程师快速且低阻力地建立其 AI/ML 环境与解决方案。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

内存占用小于 256KB 的设备端训练 [NeurIPS'22]

边缘计算精选列表，包含框架、模拟器、工具等。