vllm-project/vllm

Mesin inferensi dan serving ber-throughput tinggi serta hemat memori untuk LLM

↗ Buka di GitHub

Bintang

90.817

Fork

21.619

Bahasa

Python

Lisensi

Apache-2.0

Push terakhir

7 hari yang lalu

Python openai llm cuda gpt transformer pytorch deepseek qwen llama inference kimi qwen3 tpu llm-serving model-serving moe deepseek-v3 amd gpt-oss blackwell

Hacker News Terbaik2 minggu yang lalu

vLLM v0.28.0

oleh mrrrcs107 poin38 komentarDiskusi → Repositori GitHub: vllm-project/vllm