local-llm

超轻量级、开源、可自托管的个人 AI 代理框架，Python 实现，带 WebUI、工具、记忆、MCP、多代理工作流、自动化与聊天应用

使用单个文件分发和运行大型语言模型（LLM）。

~95% 在 SimpleQA（例如 Qwen3.6-27B 在 3090 上）。支持所有本地与云端 LLM（llama.cpp、Ollama、Google 等）。超过 10 种搜索引擎 - arXiv、PubMed、您的私人文件。全部本地且加密。

TypeScript AI 代理编排框架，具备动态工作流。描述目标而非图形：协调者在运行时规划任务 DAG，并在任何 LLM（Claude、ChatGPT、Gemini、DeepSeek 或本地模型）上执行。

开源语音 AI 平台。自托管替代 Vapi 和 Retell。可本地部署，BYOK，支持 Speech to Speech 或 LLM/STT/TTS，带视觉工作流程构建器，MCP 原生与电话线路支持。

本地优先医疗 AI：临床 NER 与 HIPAA PII 去识别化，100% 端上执行，2,200+ 医疗模型，21 种语言，Apple MLX + Python，无云端，无病患资料离开网络。Apache-2.0

通过单个 YAML 微调 LLM。层流训练可在 4 GB 笔记本 GPU 上运行 8B 模型。

利用多代理程序设计驱动大型语言模型。

Apple Silicon 上最快的本地 AI 引擎。比 Ollama 快 4.2 倍，缓存 TTFT 0.08 秒，100% 工具调用。17 个工具解析器、提示缓存、推理分离、云路由。即插即用的 OpenAI 替代品。与 Claude Code、Cursor、Aider 兼容。

Personal AI Notebooks。整理文件与网页并从中生成笔记。开源、本地化与开放数据，模型选择开放（含本地）。

在 Apple Silicon 上 100% 本地执行 Claude Code，使用本地 AI。MLX 原生 Anthropic-API 服务器。包含 6 个模型，包括 Muse-Glimmer 30B（现在多模态——可读取图像，已被消除）、Gemma 4 31B、Qwen 3.5 122B（65 tok/s）、DeepSeek V4 Flash（1M 上下文）。私有、离线、可隔离。为 NDA / 法律 / 医疗工作流程而建。

小型自包含纯 Go 网络服务器，支持 Lua、Teal、Markdown、HTTP/2、QUIC、Redis、TypeScript、无 npm 的 React 19、SQLite 与 PostgreSQL ++

精选的优质平台、工具、实践和资源清单，帮助在本地运行 LLM

针对较小 LLMs 优化的测试框架

Local-first AI 代理。针对 Local AI 模型进行最佳化。具备长上下文视窗。支援正确的工具呼叫。在您的装置上私密执行。

使用 Ollama、OpenAI（兼容）、Gemini、Mistral、Poe 或 OpenRouter 翻译完整书籍与文档。保留格式，可从中断处继续，无文件大小限制。

免费、高质量的文本转语音 API 端点，可替代 OpenAI、Azure 或 ElevenLabs

具备类似 GPT-Live 功能的设备端实时多模态 AI

针对 Apple Silicon 的高性能 OpenAI 与 Anthropic 兼容 LLM 推理服务器。原生支持 MLX、连续批处理、多模态模型、MCP 工具调用以及 Claude Code。

Row-Bot - 个人 AI 主权。一个本地优先的 AI 助理，整合了工具、个人知识图谱、语音、视觉、shell、浏览器自动化、排程任务、健康追踪与讯息管道。透过 Ollama 在本地执行或新增选用的云端模型。你的资料会保留在你的机器上。

供 Agent 使用的本地 AI 应用与推理引擎。在你的电脑上私密、100% 离线运行开放权重 LLM。欢迎加入我们的 Discord：https://discord.com/invite/8wGSsvmg4V

在配备 Apple Silicon 的 Mac 上微调 LLMs。支持 SFT、DPO、GRPO、Vision、TTS、STT、Embedding 与 OCR 微调 —— 基于 MLX 原生实现。兼容 Unsloth API。

开箱即用的本地 AI 工作室：无审查聊天、图像与视频生成、编码 Agent。100% 离线执行去审查 LLM + ComfyUI。一个安装程序，不需要 Docker，不需要云端。

🌌 为你最喜爱的角色赋予灵魂。Soul of Waifu 是一款桌面角色扮演与 AI 伴侣应用程序，具备 Live2D/VRM 虚拟形象、语音聊天与本地 LLM。通过身临其境的聊天、RPG 冒险与桌面互动共同成长。

Ouroboros — 自我创建的 AI 代理。诞生于 2026 年 2 月 16 日。

WUPHF 让您可以建立您的个人 AI 团队办公室，透过共用内容进行协作。支援 Claude Code、Codex、OpenClaw、OpenCode、本地 LLM。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

一个简单、本机托管的 Web 搜索 MCP 服务器，供 Local LLM 使用

Synthadoc：一个开源的 LLM 知识编译引擎，可将原始文件转换为结构化的本地优先 Wiki。这是传统 RAG 的透明且人类可读的替代方案，无需使用任何工具即可进行自我管理与自我改进。

适用于 Apple Silicon 的原生 LLM 推理服务器。兼容 OpenAI + Anthropic API。无 Python。包含带聊天、agent 模式和工具调用功能的 MLX Core macOS 应用。