vllm-project/vllm

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

↗ Auf GitHub öffnen

Sterne

90.817

Forks

21.619

Sprache

Python

Lizenz

Apache-2.0

Letzter Push

vor 5 Tagen

Python openai llm cuda gpt transformer pytorch deepseek qwen llama inference kimi qwen3 tpu llm-serving model-serving moe deepseek-v3 amd gpt-oss blackwell

Hacker News Bestbewertetvor 1 Woche

vLLM v0.28.0

von mrrrcs107 Punkte38 KommentareDiskussion → GitHub-Repo: vllm-project/vllm