sglang

只需更改一行代码，即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型，统一的生产级推理 API

数据中心规模的分布式推理服务框架

Mooncake 是 Moonshot AI 提供的领先 LLM 服务 Kimi 的服务平台

OpenClaw-RL：仅通过对话即可训练任何代理

一个 GPU 集群管理器，用于高效能 AI 模型服务（vLLM、SGLang）以及按需可 SSH 访问的 GPU 实例。

VLLM、Sglang、llama.cpp、exllamav3 的控制面板

开源持续推理基准研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即将推出™ TPUv6e/v7/Trainium2/3

用于高精度低比特 LLM 推理的 SOTA 量化算法，针对 CPU/XPU/CUDA 进行无缝优化，支持多种数据类型，并与 vLLM、SGLang 和 Transformers 完全兼容。

MOSS-TTSD 是一个专为具表现力的多说话人合成而设计的语音对话生成模型。具备长上下文建模、灵活的说话人控制与多语言支持，同时可通过短语音参考实现零样本语音克隆。

用于动态 GPU 共享及更高应用的虚拟化弹性 KV 缓存

支持硬件加速的 LLM 模型量化（压缩）工具包，可通过 HF、vLLM 及 SGLang 为 Nvidia、AMD、Intel GPU 以及 Intel/AMD/Apple CPU 提供加速支持。

轻松训练推测解码模型并平滑移植到 SGLang 服务中。

SGLang-Omni 为 TTS、ASR、语音与全能模型提供高性能服务。

MOVA：迈向可扩展且同步的音视频生成

UniRL 是一个统一多模态模型强化学习框架

为期 10 周、每天 30 分钟的 LLM 推理服务与优化学习蓝图。包含 vLLM、SGLang、量化、推测解码、性能评测。

基于 SparkTTS、OrpheusTTS 等模型，提供高质量中文语音合成与声音克隆服务。

面向大模型开发者的 SGLang 系统化开源教程：从推理基础与环境搭建开始，逐步学习模型部署、结构化生成、服务开发和性能优化， 结合实战案例带你从 0 到 1 掌握 SGLang，构建高性能 LLM 推理应用

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton