vllm-project

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

高效模型推理框架，支援全模態模型

一個可編程的混合模型路由器，用於異質 LLM 推理。

成本效益高且可插拔的 GenAI 推理基礎設施組件。

與 Transformers 兼容的庫，可對 LLM 應用各種壓縮演算法，以 vLLM 優化部署

社群維護的 vLLM on Ascend 硬體外掛程式

vLLM 的參考系統，用於 K8S 原生叢集規模部署，並具備社群驅動的效能最佳化

由社群維護的 vLLM Apple Silicon 硬體外掛程式

評估並增強您的 LLM 部署，以滿足真實世界的推論需求

執行 vLLM 的常見範例與方法

用於在 vLLM 中建構、評估與儲存 LLM 推論推測解碼演算法的統一函式庫。