vllm-project/vllm

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

↗ 在 GitHub 開啟

星數

90,817

Fork 數

21,619

語言

Python

授權

Apache-2.0

最後推送

1 週前

Python openai llm cuda gpt transformer pytorch deepseek qwen llama inference kimi qwen3 tpu llm-serving model-serving moe deepseek-v3 amd gpt-oss blackwell

Hacker News 高分新文2 週前

vLLM v0.28.0

作者 mrrrcs107 分38 則留言討論串 → GitHub repo：vllm-project/vllm