sglang

只需更改一行程式碼，即可將 GPT 替換為任意 LLM。Xinference 讓你在雲端、本地或筆記型電腦上運行開源、語音與多模態模型，統一的生產級推論 API

資料中心規模的分布式推論服務框架

Mooncake 是 Moonshot AI 提供的領先 LLM 服務 Kimi 的服務平台

OpenClaw-RL：僅通過對話即可訓練任何代理

一個 GPU 叢集管理器，用於高效能 AI 模型服務（vLLM、SGLang）以及按需可 SSH 存取的 GPU 實例。

VLLM、Sglang、llama.cpp、exllamav3 的控制面板

開源持續推論基準研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即將推出™ TPUv6e/v7/Trainium2/3

用於高精度低位元 LLM 推論的 SOTA 量化演算法，針對 CPU/XPU/CUDA 進行無縫最佳化，支援多種資料型態，並與 vLLM、SGLang 和 Transformers 完全相容。

MOSS-TTSD 是一個專為具表現力的多語者合成而設計的語音對話生成模型。具備長上下文建模、靈活的語者控制與多語言支援，同時可透過短語音參考進行零樣本語音複製。

用於動態 GPU 共用及更高應用的虛擬化彈性 KV 快取

支援硬體加速的 LLM 模型量化（壓縮）工具包，可透過 HF、vLLM 及 SGLang 為 Nvidia、AMD、Intel GPU 以及 Intel/AMD/Apple CPU 提供加速支援。

輕鬆訓練推測解碼模型並平滑移植到 SGLang 服務中。

SGLang-Omni 為 TTS、ASR、語音與全能模型提供高效能服務。

MOVA：邁向可擴充且同步的視訊-音訊生成

UniRL 是一個統一多模態模型強化學習框架

為期 10 週、每天 30 分鐘的 LLM 推論服務與最佳化學習藍圖。包含 vLLM、SGLang、量化、推測解碼、效能評測。

基於 SparkTTS、OrpheusTTS 等模型，提供高品質中文語音合成與聲音複製服務。

面向大模型开发者的 SGLang 系统化开源教程：从推理基础与环境搭建开始，逐步学习模型部署、结构化生成、服务开发和性能优化， 结合实战案例带你从 0 到 1 掌握 SGLang，构建高性能 LLM 推理应用

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton