vllm-project

高吞吐量且内存效率高的 LLM 推理与服务引擎

高效模型推理框架，支持全模态模型

一个可编程的混合模型路由器，用于异质 LLM 推理。

成本效益高且可插拔的 GenAI 推理基础设施组件。

与 Transformers 兼容的库，可对 LLM 应用各种压缩算法，以 vLLM 优化部署

社区维护的 vLLM on Ascend 硬件插件

vLLM 的参考系统，用于 K8S 原生集群规模部署，并具备社区驱动的性能优化

由社区维护的 vLLM Apple Silicon 硬件插件

评估并增强您的 LLM 部署，以满足真实世界的推理需求

运行 vLLM 的常见配置与方法

用于在 vLLM 中构建、评估与存储 LLM 推理推测解码算法的统一库。