llama-cpp

以單一檔案分發與執行大型語言模型（LLM）。

最快且唯一的 macOS 語音輸入應用，具備本機 STT 與自訂 AI 增強模型。提供 Windows 預建版！本機 Wispr Flow 替代方案。於 X 私訊我們取得彩蛋 😉 - https://x.com/fluidvoiceapp

自託管、離線的類 ChatGPT 聊天機器人。由 Llama 2 提供動力，100% 私密，資料不會離開裝置。新功能：支援 Code Llama！

只需更改一行程式碼，即可將 GPT 替換為任意 LLM。Xinference 讓你在雲端、本地或筆記型電腦上運行開源、語音與多模態模型，統一的生產級推論 API

開源 SenseVoiceSmall 模型，支援中文（普通話、粵語）、英文、日文與韓文的語音辨識、語言識別、情緒辨識與音訊事件偵測。

將你的 PC、Mac 或 Linux 盒子變成 AI 伺服器。LLM 推理、聊天 UI、語音、代理、工作流程、RAG 與圖像生成

C#/.NET 函式庫，可在本機裝置高效執行 LLM（🦙LLaMA/LLaVA）

離線 AI 的瑞士刀。在手機或 Mac 上進行聊天、視覺辨識、語音對話與圖像生成——支援 GGUF LLMs、視覺、Whisper 語音轉文字、Stable Diffusion、工具呼叫以及本機網路伺服器。可在 CPU、GPU 或 NPU 上運行。無需帳號、無需 API 金鑰，資料零外洩。

開源 AI 攝影機技能平台、AI NVR 與 CCTV 監控。使用 Qwen、DeepSeek、SmolVLM、LLaVA、YOLO26 進行本機 VLM 影片分析。具備 LLM 驅動的智慧安全攝影機代理——透過 Telegram、Discord 或 Slack 守護您的家。支援可插拔的 AI 技能。支援 OpenAI、Google、Anthropic 或本機 AI。可運行於 Mac Mini 與 AI PC。

適用於消費級與異質硬體的 LLM 推測式推論伺服器

Maid 是一個免費且開源的應用程式，用於本機介接 llama.cpp 模型，以及遠端介接 Anthropic、DeepSeek、Ollama、Mistral 和 OpenAI 模型。

Local-first AI 代理。針對 Local AI 模型進行最佳化。具備長上下文視窗。支援正確的工具呼叫。在您的裝置上私密執行。

一個用於自架 LLM 工具呼叫與多步驟代理工作流程的 Python 框架

使用 llama.cpp 的 node.js 綁定在本地機器上執行 AI 模型。在生成層級強制模型輸出符合 JSON schema

在 Unity 中透過 LLMs 建立角色！

與你的 Mac 對話、查詢你的文件，無需雲端。裝置端語音 AI + RAG

開源基於 LLM 的中文、方言、口音及多語種語音 ASR 模型家族，具備 FunASR、vLLM、串流與 llama.cpp 執行階段。

為您的 LLMs 提供一個舒適的家。

llama.go 就像是用純 Golang 實作的 llama.cpp！

llama.cpp 的 React Native 繫結

使用 Docker Compose 建構並執行 AI agents。包含一系列用於編排開源 LLMs、工具與 agent 執行階段的即用範例。

Cotabby 是適用於整個 Mac 的本地 AI 自動完成工具。開源、裝置端、適用於所有輸入位置。

無需 Root 的 Apple Silicon 系統監視器（原生 SwiftUI GUI），具備 ANE、媒體引擎與記憶體頻寬追蹤功能

無需 ROOT 的開源 Android 螢幕即時翻譯工具，適合遊戲、視覺小說和漫畫。支援端側與雲端 OCR、離線 LLM、多種翻譯服務和文字朗讀（TTS），譯文可直接顯示在畫面上。

A minimalist, terminal-native coding agent written in C.

針對 AI 程式碼編寫員的自我評量面試

用於視覺語言模型的 ComfyUI 節點：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支援開放詞彙檢測、SAM2/SAM3 分割、影片時序推理、透過 llama.cpp 的 GGUF 以及託管式 LLM/VLM API。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

GraphRAG-rs 是 GraphRAG（基於圖的檢索增強生成）的高效能、最先進 Rust 實作，可從文件中建立知識圖譜，並支援透過可配置的實體提取與本地 LLM 整合進行自然語言查詢

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.