vllm-project/vllm

Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM

↗ Open on GitHub

Stars

90 415

Forks

21 400

Language

Python

License

Apache-2.0

Last push

il y a 1 jour

Python openai llm cuda gpt transformer pytorch deepseek qwen llama inference kimi qwen3 tpu llm-serving model-serving moe deepseek-v3 amd gpt-oss blackwell

Hacker News 高分新文il y a 1 jour

vLLM v0.28.0

by mrrrcs107 points38 commentsDiscussion → GitHub repo: vllm-project/vllm