vllm

開源語音辨識工具包，支援訓練、推論、串流 ASR、VAD、標點、說話者分割流程，並提供相容 OpenAI / MCP 的服務介面

歡迎使用 Llama Cookbook！這是您使用 Llama 的完整指南：從推論、微調、RAG 入門，我們也示範如何使用 Llama 系列模型解決端到端問題，並在各種服務提供商上部署。

✍🏻 原始碼深度解析、系統設計與工程部落格 | Halfrost-Field 冰霜之地：源码解析、系统设计与工程实践笔记

全面開源的 AI 研究與工程技能庫，適用於任何 AI 模型。將技能與你的 Claude / Codex / Gemini 代理打包，即可成為具備完整算力的 AI 研究代理。由 Orchestra Research 維護。

LMCache：以最快的 KV 快取層為 LLM 提供加速

一個易於使用、可擴展且高效能的 Agentic RL 框架，基於 Ray（PPO、DAPO、REINFORCE++、VLM、TIS、vLLM、Ray、Async RL）

只需更改一行程式碼，即可將 GPT 替換為任意 LLM。Xinference 讓你在雲端、本地或筆記型電腦上運行開源、語音與多模態模型，統一的生產級推論 API

資料中心規模的分布式推論服務框架

Mooncake 是 Moonshot AI 提供的領先 LLM 服務 Kimi 的服務平台

標準化的分散式生成式與預測式 AI 推論平台，支援在 Kubernetes 上以多框架擴展部署

低代码 MCP 框架，用于构建复杂且创新的 RAG 流水线

一個 GPU 叢集管理器，用於高效能 AI 模型服務（vLLM、SGLang）以及按需可 SSH 存取的 GPU 實例。

可靠的模型切換，適用於任何本地 OpenAI/Anthropic 兼容伺服器 - llama.cpp、vllm 等

📚 精選Awesome LLM/VLM推理論文與程式碼清單：Flash-Attention、Paged-Attention、WINT8/4、Parallelism等。🎉

一個可編程的混合模型路由器，用於異質 LLM 推理。

使用 ML、LLM 和 Vision LLM 的結構化數據提取、指令調用和代理工作流

在 Apple Silicon 上學習 LLM 推理系統，為系統工程師打造小型 vLLM + Qwen

AI 代理的級聯執行環境，優化成本、延遲、品質與政策決策於代理迴圈內

基於 PaddlePaddle 的高效 LLM 與 VLM 推理與部署工具包

RamaLama 是一款開源開發者工具，透過大眾熟悉的容器語言，簡化從任何來源在本地端提供 AI 模型的流程，並促進其在生產環境中的推論應用。

社群維護的 vLLM on Ascend 硬體外掛程式

VLLM、Sglang、llama.cpp、exllamav3 的控制面板

用於高精度低位元 LLM 推論的 SOTA 量化演算法，針對 CPU/XPU/CUDA 進行無縫最佳化，支援多種資料型態，並與 vLLM、SGLang 和 Transformers 完全相容。

開源持續推論基準研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即將推出™ TPUv6e/v7/Trainium2/3

針對 Apple Silicon 的高效能 OpenAI 與 Anthropic 相容 LLM 推論伺服器。原生支援 MLX、連續批次處理、多模態模型、MCP 工具呼叫以及 Claude Code。

適用於 Kubernetes 的 AI 推論運算子。在生產環境中提供 ML 模型服務的最簡單方式，支援 VLM、LLM、嵌入與語音轉文字。

支援硬體加速的 LLM 模型量化（壓縮）工具包，可透過 HF、vLLM 及 SGLang 為 Nvidia、AMD、Intel GPU 以及 Intel/AMD/Apple CPU 提供加速支援。

🔒 企業級 API 閘道器，可協助您監視並強制執行每個 API 金鑰的成本或速率限制。針對每個使用者、應用程式或環境提供精細的存取控制與監視。支援 OpenAI、Azure OpenAI、Anthropic、vLLM 以及開源 LLM。

用於動態 GPU 共用及更高應用的虛擬化彈性 KV 快取

使用 Prometheus 與 GPT4 評估你的 LLM 回應 💯