ggml

C/C++ 中的 LLM 推理

纯 C/C++ 推理扩散模型（SD、Flux、Wan、Qwen Image、Z-Image 等）

一款由 ggml 驱动的一体化纯 C++ 音频模型推理引擎。支持 TTS、STT、VAD、语音转换、音乐生成等功能，具备高度优化的性能，无 Python 依赖。

使用 GGML 库在 iOS 与 macOS 上离线运行 llama 等大型语言模型

支持 16 种以上模型家族的 ggml 语音转文本推理

管理你的 Ollama 模型

适用于 RWKV 语言模型在 CPU 上进行 INT4/INT5/INT8 与 FP16 推理

计算任何 LLM 所需的 token/s 与 GPU 内存需求。支持 llama.cpp/ggml/bnb/QLoRA 量化

这个用于 ComfyUI 的 custom_node 为任何 UNet 和 CLIP 加载器新增了一键式“虚拟 VRAM”，并在 WanVideoWrapper 中整合了 MultiGPU，可管理层的卸载/区块交换至 DRAM 或 VRAM 以最大化显卡的潜在空间。同时包含用于将整个组件（UNet、CLIP、VAE）直接加载至您所选设备的节点。

在 Android 设备上于本地运行任意 GGUF SLM/LLM

C/C++ 版本的 Suno AI Bark 模型，用于快速文本转语音生成

从单一相机进行实时 3D 全身重建，多人 BVH 输出，纯 C++ 运行时，ONNX + ggml，包含手部的 70 关节骨架。

用于多语言 ASR 与 TTS 模型的 C++ ggml 运行时中心：包含 Cohere Transcribe、Parakeet TDT、Voxtral、Canary 1B v2 等，并支持通用强制对齐等功能。

针对 AI 代码编写员的自我评量面试

纯 C/C++ 的 CLIP 推理，无额外依赖。