edge-ai

高效能的 NATS.io 伺服器，適用於雲端與邊緣原生訊息系統。

PyTorch 版 YOLOv3、YOLOv3-SPP 與 YOLOv3-tiny 的即時目標偵測實作，支援訓練、驗證、推論與多格式匯出

LiteRT-LM 為 Google 針對邊緣設備部署大型語言模型所打造的生產就緒、高效能、開源推論框架。

量化、核心、執行時與推論引擎，適用於行動裝置、穿戴裝置、智慧家庭與機器人。

開源個人雲端作業系統，為始終在線代理設計

FEDML - 用於大規模分散式訓練、模型部署與聯邦學習的統一且具擴充性的機器學習函式庫。跨雲排程器 FEDML Launch 進一步支援在任何 GPU 雲端或地端叢集上執行任何 AI 任務。基於此函式庫建構的 TensorOpera AI (https://TensorOpera.ai) 是您的大規模生成式 AI 平台。

離線 AI 的瑞士刀。在手機或 Mac 上進行聊天、視覺辨識、語音對話與圖像生成——支援 GGUF LLMs、視覺、Whisper 語音轉文字、Stable Diffusion、工具呼叫以及本機網路伺服器。可在 CPU、GPU 或 NPU 上運行。無需帳號、無需 API 金鑰，資料零外洩。

一款由 ggml 驅動的一體化純 C++ 音訊模型推理引擎。支援 TTS、STT、VAD、語音轉換、音樂生成等功能，具備高度優化的效能，無需依賴 Python。

適用於 K210 RISC-V 的 MicroPython，讓邊緣 AI 開發更輕鬆

Microsoft AI for Good Lab — 生物多樣性研究中心。用於生物多樣性監測與保育的開源 AI 模型、邊緣裝置與工具。提供 MegaDetector、SPARROW、PytorchWildlife、Bioacoustics 等專案。

DefraDB 是一個點對點、邊緣優先的資料庫。它是 Source 生態系統的核心資料儲存系統。

Android 17 本地 LLM 原型，使用 Jetpack Compose 與 ONNX Runtime 進行離線 AI 推論實驗。

在邊緣裝置上使用 Python 輕鬆建立 AI 專案

即時語音助理 —— WebRTC 串流、faster-whisper ASR、本地 LLM、Vui Nano (300M) TTS。相容 OpenAI Realtime API。支援語音複製、插話打斷，在 4090 上約有 9 倍即時效能。採用 Apache 2.0 授權。

Hailo Model Zoo 包含預訓練模型以及完整的建置與評估環境

語音轉文字效能評測框架

EfficientSAM3 透過漸進式知識蒸餾將 SAM3 壓縮為輕量且適合邊緣裝置的模型，以實現快速的提示式概念分割與追蹤。

生產級 C++ 邊緣 AI 引擎，適用於 Sophon、Rockchip RKNN 與 x86 平台的影片分析與裝置端 VLM，具備視覺編排、即時 OSD、事件處理與可重現的基準測試。

AI-in-a-Box 利用 Microsoft 全球的專業知識來開發並提供 AI 與 ML 解決方案給技術社群。我們的目標是提供一系列精選的解決方案加速器，協助工程師快速且低阻力地建立其 AI/ML 環境與解決方案。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

記憶體佔用小於 256KB 的裝置端訓練 [NeurIPS'22]

邊緣運算精選清單，包含框架、模擬器、工具等。