llama-cpp

使用单个文件分发和运行大型语言模型（LLM）。

最快且唯一的 macOS 语音输入应用，具备本地 STT 与自定义 AI 增强模型。提供 Windows 预构建版！本地 Wispr Flow 替代方案。DM 我们在 X 上获取彩蛋 😉 - https://x.com/fluidvoiceapp

自托管、离线的类 ChatGPT 聊天机器人。由 Llama 2 提供动力，100% 私密，数据不离开设备。新功能：支持 Code Llama！

只需更改一行代码，即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型，统一的生产级推理 API

开源 SenseVoiceSmall 模型，支持普通话、粤语、英语、日语和韩语的语音识别、语言识别、情绪识别和音频事件检测。

将你的 PC、Mac 或 Linux 盒子变成 AI 服务器。LLM 推理、聊天 UI、语音、代理、工作流程、RAG 与图像生成

C#/.NET 函式库，可在本机装置高效执行 LLM（🦙LLaMA/LLaVA）

离线 AI 的瑞士军刀。在手机或 Mac 上进行聊天、视觉识别、语音对话与图像生成——支持 GGUF LLMs、视觉、Whisper 语音转文字、Stable Diffusion、工具调用以及本地网络服务器。可在 CPU、GPU 或 NPU 上运行。无需账号、无需 API 密钥，数据零外泄。

开源 AI 相机技能平台、AI NVR 与 CCTV 监控。使用 Qwen、DeepSeek、SmolVLM、LLaVA、YOLO26 进行本地 VLM 视频分析。具备 LLM 驱动的智能安全相机代理——通过 Telegram、Discord 或 Slack 守护您的家。支持可插拔的 AI 技能。支持 OpenAI、Google、Anthropic 或本地 AI。可运行于 Mac Mini 与 AI PC。

适用于消费级与异构硬件的 LLM 推测式推理服务器

Maid 是一个免费且开源的应用程序，用于本地对接 llama.cpp 模型，以及远程对接 Anthropic、DeepSeek、Ollama、Mistral 和 OpenAI 模型。

Local-first AI 代理。针对 Local AI 模型进行最佳化。具备长上下文视窗。支援正确的工具呼叫。在您的装置上私密执行。

一个用于自托管 LLM 工具调用与多步骤代理工作流程的 Python 框架

使用 llama.cpp 的 node.js 绑定在本地机器上运行 AI 模型。在生成层级强制模型输出符合 JSON schema

在 Unity 中透过 LLMs 建立角色！

与你的 Mac 对话、查询你的文档，无需云端。设备端语音 AI + RAG

开源基于 LLM 的中文、方言、口音及多语种语音 ASR 模型家族，具备 FunASR、vLLM、流式与 llama.cpp 运行时。

为您的 LLMs 提供一个舒适的家。

llama.go 就像是用纯 Golang 实现的 llama.cpp！

llama.cpp 的 React Native 绑定

使用 Docker Compose 构建并运行 AI agents。包含一系列用于编排开源 LLMs、工具与 agent 运行时的即用示例。

Cotabby 是适用于整个 Mac 的本地 AI 自动完成工具。开源、设备端、适用于所有输入位置。

无需 Root 的 Apple Silicon 系统监视器（原生 SwiftUI GUI），具备 ANE、媒体引擎与内存带宽追踪功能

无需 ROOT 的开源 Android 屏幕实时翻译工具，适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读（TTS），译文可直接显示在画面上。

A minimalist, terminal-native coding agent written in C.

针对 AI 代码编写员的自我评量面试

用于视觉语言模型的 ComfyUI 节点：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 的 GGUF 以及托管式 LLM/VLM API。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

GraphRAG-rs 是 GraphRAG（基于图的检索增强生成）的高性能、最先进 Rust 实现，可从文档中建立知识图谱，并支持通过可配置的实体提取与本地 LLM 集成进行自然语言查询

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.