local-llm

超轻量级、开源、可自托管的个人 AI 代理框架，Python 实现，带 WebUI、工具、记忆、MCP、多代理工作流、自动化与聊天应用

以單一檔案分發與執行大型語言模型（LLM）。

~95% 在 SimpleQA（例如 Qwen3.6-27B 在 3090 上）。支援所有本地與雲端 LLM（llama.cpp、Ollama、Google 等）。超過 10 種搜尋引擎 - arXiv、PubMed、您的私人文件。全部本地且加密。

TypeScript AI 代理協調框架，具備動態工作流程。描述目標而非圖形：協調者在執行時規劃任務 DAG，並在任何 LLM（Claude、ChatGPT、Gemini、DeepSeek 或本地模型）上執行。

開源語音 AI 平台。自託管替代 Vapi 和 Retell。可本地部署，BYOK，支援 Speech to Speech 或 LLM/STT/TTS，帶視覺工作流程建構器，MCP 原生與電話線路支援。

本地優先醫療 AI：臨床 NER 與 HIPAA PII 去識別化，100% 端上執行，2,200+ 醫療模型，21 種語言，Apple MLX + Python，無雲端，無病患資料離開網路。Apache-2.0

透過單一 YAML 微調 LLM。層串流訓練可在 4 GB 筆電 GPU 上執行 8B 模型。

利用多代理程式設計驅動大型語言模型。

Apple Silicon 上最快的本地 AI 引擎。比 Ollama 快 4.2 倍，緩存 TTFT 0.08 秒，100% 工具呼叫。17 個工具解析器、提示緩存、推理分離、雲路由。即插即用的 OpenAI 替代品。與 Claude Code、Cursor、Aider 兼容。

Personal AI Notebooks。整理檔案與網頁並從中生成筆記。開源、本地化與開放資料，模型選擇開放（含本地）。

在 Apple Silicon 上 100% 本地執行 Claude Code，使用本地 AI。MLX 原生 Anthropic-API 伺服器。包含 6 個模型，包括 Muse-Glimmer 30B（現在支援多模態——可讀取圖像，已被消除）、Gemma 4 31B、Qwen 3.5 122B（65 tok/s）、DeepSeek V4 Flash（1M 上下文）。私有、離線、可隔離。為 NDA / 法律 / 醫療工作流程而建。

小型自包含純 Go 網頁伺服器，支援 Lua、Teal、Markdown、HTTP/2、QUIC、Redis、TypeScript、無 npm 的 React 19、SQLite 與 PostgreSQL ++

精選的優質平台、工具、實踐和資源清單，幫助在本地運行 LLM

針對較小 LLMs 優化的測試框架

Local-first AI 代理。針對 Local AI 模型進行最佳化。具備長上下文視窗。支援正確的工具呼叫。在您的裝置上私密執行。

使用 Ollama、OpenAI（相容）、Gemini、Mistral、Poe 或 OpenRouter 翻譯完整書籍與文件。保留格式，可從中斷處繼續，無檔案大小限制。

免費、高品質的文字轉語音 API 端點，可替代 OpenAI、Azure 或 ElevenLabs

具備類似 GPT-Live 功能的裝置端即時多模態 AI

針對 Apple Silicon 的高效能 OpenAI 與 Anthropic 相容 LLM 推論伺服器。原生支援 MLX、連續批次處理、多模態模型、MCP 工具呼叫以及 Claude Code。

Row-Bot - 個人 AI 主權。一個本機優先的 AI 助理，整合了工具、個人知識圖譜、語音、視覺、shell、瀏覽器自動化、排程任務、健康追蹤與訊息管道。透過 Ollama 在本機執行或新增選用的雲端模型。你的資料會保留在你的機器上。

供 Agent 使用的本地 AI 應用程式與推論引擎。在你的電腦上私密、100% 離線運行開放權重 LLM。歡迎加入我們的 Discord：https://discord.com/invite/8wGSsvmg4V

在配備 Apple Silicon 的 Mac 上微調 LLMs。支援 SFT、DPO、GRPO、Vision、TTS、STT、Embedding 與 OCR 微調 —— 基於 MLX 原生實現。相容 Unsloth API。

開箱即用的本地 AI 工作室：無審查聊天、圖像與影片生成、編碼 Agent。100% 離線執行去審查 LLM + ComfyUI。一個安裝程式，不需要 Docker，不需要雲端。

🌌 為你最喜愛的角色賦予靈魂。Soul of Waifu 是一款桌面角色扮演與 AI 伴侶應用程式，具備 Live2D/VRM 虛擬形象、語音聊天與本機 LLM。透過身臨其境的聊天、RPG 冒險與桌面互動共同成長。

Ouroboros — 自我建立的 AI 代理。誕生於 2026 年 2 月 16 日。

WUPHF 讓您可以建立您的個人 AI 團隊辦公室，透過共用內容進行協作。支援 Claude Code、Codex、OpenClaw、OpenCode、本機 LLM。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

一個簡單、本機託管的 Web 搜尋 MCP 伺服器，供 Local LLM 使用

Synthadoc：一個開源的 LLM 知識編譯引擎，可將原始文件轉換為結構化的本地優先 Wiki。這是傳統 RAG 的透明且人類可讀的替代方案，無需使用任何工具即可進行自我管理與自我改進。

適用於 Apple Silicon 的原生 LLM 推論伺服器。相容 OpenAI + Anthropic API。無須 Python。包含具備聊天、agent 模式與工具呼叫功能的 MLX Core macOS 應用程式。