gguf

上百種模型與提供者。一條指令即可找出適用於你的硬體的模型。

以單一檔案分發與執行大型語言模型（LLM）。

⚡ 純 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支援任何 GPU。無 Python，無 llama.cpp，單一二進位檔。

透過單一 YAML 微調 LLM。層串流訓練可在 4 GB 筆電 GPU 上執行 8B 模型。

離線 AI 的瑞士刀。在手機或 Mac 上進行聊天、視覺辨識、語音對話與圖像生成——支援 GGUF LLMs、視覺、Whisper 語音轉文字、Stable Diffusion、工具呼叫以及本機網路伺服器。可在 CPU、GPU 或 NPU 上運行。無需帳號、無需 API 金鑰，資料零外洩。

Maid 是一個免費且開源的應用程式，用於本機介接 llama.cpp 模型，以及遠端介接 Anthropic、DeepSeek、Ollama、Mistral 和 OpenAI 模型。

動手學 Ollama，CPU 玩轉大模型部署，線上閱讀地址：https://datawhalechina.github.io/handy-ollama/

Local-first AI 代理。針對 Local AI 模型進行最佳化。具備長上下文視窗。支援正確的工具呼叫。在您的裝置上私密執行。

ComfyUI 中的 LLM Agent 框架，包含 MCP server、Omost、GPT-sovits、ChatTTS、GOT-OCR2.0 與 FLUX prompt 節點，支援存取飛書、Discord，並適配所有具備類似 OpenAI / aisuite 介面的 LLM，例如 o1、ollama、gemini、grok、qwen、GLM、deepseek、kimi、doubao。已適配本地 LLM、VLM、GGUF（如 llama-3.3 Janus-Pro、Linkage graphRAG）

使用 llama.cpp 的 node.js 綁定在本地機器上執行 AI 模型。在生成層級強制模型輸出符合 JSON schema

支援 16 種以上模型家族的 ggml 語音轉文字推理

管理你的 Ollama 模型

用於高精度低位元 LLM 推論的 SOTA 量化演算法，針對 CPU/XPU/CUDA 進行無縫最佳化，支援多種資料型態，並與 vLLM、SGLang 和 Transformers 完全相容。

開源基於 LLM 的中文、方言、口音及多語種語音 ASR 模型家族，具備 FunASR、vLLM、串流與 llama.cpp 執行階段。

OuteTTS 模型的介面。

供 Agent 使用的本地 AI 應用程式與推論引擎。在你的電腦上私密、100% 離線運行開放權重 LLM。歡迎加入我們的 Discord：https://discord.com/invite/8wGSsvmg4V

來自 CNCF 的開源 DevOps 工具，用於將 AI/ML 模型、資料集、程式碼和組態打包並進行版本控制成 OCI Artifact。

開箱即用的本地 AI 工作室：無審查聊天、圖像與影片生成、編碼 Agent。100% 離線執行去審查 LLM + ComfyUI。一個安裝程式，不需要 Docker，不需要雲端。

適用於 Apple Silicon 的原生 LLM 推論伺服器。相容 OpenAI + Anthropic API。無須 Python。包含具備聊天、agent 模式與工具呼叫功能的 MLX Core macOS 應用程式。

一個以 Python 編寫的 CLI，用於估算 Hugging Face 模型的推論記憶體需求。

LLM.swift 是一個簡單易讀的函式庫，讓您能在 macOS、iOS、watchOS、tvOS 和 visionOS 上輕鬆地在本地端與大型語言模型互動。

以純 Java 實現的 Llama 3+ 推理

目前 Android 上最先進、完全離線的客戶端 AI 套件。

無需 ROOT 的開源 Android 螢幕即時翻譯工具，適合遊戲、視覺小說和漫畫。支援端側與雲端 OCR、離線 LLM、多種翻譯服務和文字朗讀（TTS），譯文可直接顯示在畫面上。

賦予應用程式智慧：直接整合 llama.cpp 以利用硬體加速進行本地推論的 Go 應用程式

用於視覺語言模型的 ComfyUI 節點：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支援開放詞彙檢測、SAM2/SAM3 分割、影片時序推理、透過 llama.cpp 的 GGUF 以及託管式 LLM/VLM API。

使用 llama.cpp 進行嵌入式向量搜尋與語意嵌入的 Go 函式庫。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.