gguf

上百种模型与提供者。一条指令即可找出适用于你的硬件的模型。

使用单个文件分发和运行大型语言模型（LLM）。

⚡ 纯 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支持任何 GPU。无 Python，無 llama.cpp，单一二进位文件。

通过单个 YAML 微调 LLM。层流训练可在 4 GB 笔记本 GPU 上运行 8B 模型。

离线 AI 的瑞士军刀。在手机或 Mac 上进行聊天、视觉识别、语音对话与图像生成——支持 GGUF LLMs、视觉、Whisper 语音转文字、Stable Diffusion、工具调用以及本地网络服务器。可在 CPU、GPU 或 NPU 上运行。无需账号、无需 API 密钥，数据零外泄。

Maid 是一个免费且开源的应用程序，用于本地对接 llama.cpp 模型，以及远程对接 Anthropic、DeepSeek、Ollama、Mistral 和 OpenAI 模型。

动手学 Ollama，CPU 玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

Local-first AI 代理。针对 Local AI 模型进行最佳化。具备长上下文视窗。支援正确的工具呼叫。在您的装置上私密执行。

ComfyUI 中的 LLM Agent 框架，包含 MCP server、Omost、GPT-sovits、ChatTTS、GOT-OCR2.0 与 FLUX prompt 节点，支持访问飞书、Discord，并适配所有具备类似 OpenAI / aisuite 接口的 LLM，例如 o1、ollama、gemini、grok、qwen、GLM、deepseek、kimi、doubao。已适配本地 LLM、VLM、GGUF（如 llama-3.3 Janus-Pro、Linkage graphRAG）

使用 llama.cpp 的 node.js 绑定在本地机器上运行 AI 模型。在生成层级强制模型输出符合 JSON schema

支持 16 种以上模型家族的 ggml 语音转文本推理

管理你的 Ollama 模型

用于高精度低比特 LLM 推理的 SOTA 量化算法，针对 CPU/XPU/CUDA 进行无缝优化，支持多种数据类型，并与 vLLM、SGLang 和 Transformers 完全兼容。

开源基于 LLM 的中文、方言、口音及多语种语音 ASR 模型家族，具备 FunASR、vLLM、流式与 llama.cpp 运行时。

OuteTTS 模型的介面。

供 Agent 使用的本地 AI 应用与推理引擎。在你的电脑上私密、100% 离线运行开放权重 LLM。欢迎加入我们的 Discord：https://discord.com/invite/8wGSsvmg4V

来自 CNCF 的开源 DevOps 工具，用于将 AI/ML 模型、数据集、代码和配置打包并进行版本控制成 OCI Artifact。

开箱即用的本地 AI 工作室：无审查聊天、图像与视频生成、编码 Agent。100% 离线执行去审查 LLM + ComfyUI。一个安装程序，不需要 Docker，不需要云端。

适用于 Apple Silicon 的原生 LLM 推理服务器。兼容 OpenAI + Anthropic API。无 Python。包含带聊天、agent 模式和工具调用功能的 MLX Core macOS 应用。

一个以 Python 编写的 CLI，用于估算 Hugging Face 模型的推理内存需求。

LLM.swift 是一个简单易读的库，让您能在 macOS、iOS、watchOS、tvOS 和 visionOS 上轻松地在本地与大语言模型交互。

以纯 Java 实现的 Llama 3+ 推理

目前 Android 上最先进、完全离线的客户端 AI 套件。

无需 ROOT 的开源 Android 屏幕实时翻译工具，适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读（TTS），译文可直接显示在画面上。

赋予应用程序智慧：直接整合 llama.cpp 以利用硬件加速进行本地推理的 Go 应用程序

用于视觉语言模型的 ComfyUI 节点：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 的 GGUF 以及托管式 LLM/VLM API。

使用 llama.cpp 进行嵌入式向量搜索与语义嵌入的 Go 库。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.