vllm-project/vllm
@vllm-projectEngine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM
Sao
90.817
Fork
21.619
Ngôn ngữ
Python
Giấy phép
Apache-2.0
Push gần nhất
5 ngày trước
Engine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM