vllm-project

Engine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM

Một framework để suy luận mô hình hiệu quả với các mô hình đa phương thức

Bộ định tuyến Mixture-of-Models có thể lập trình cho suy luận LLM dị thể

Các thành phần cơ sở hạ tầng tiết kiệm chi phí và có thể cắm (pluggable) cho suy luận GenAI

Thư viện tương thích với Transformers để áp dụng các thuật toán nén khác nhau cho LLM nhằm tối ưu hóa việc triển khai với vLLM

Plugin phần cứng do cộng đồng duy trì cho vLLM trên Ascend

Hệ thống tham chiếu của vLLM dành cho việc triển khai trên toàn cụm gốc K8S với việc tối ưu hóa hiệu suất do cộng đồng thúc đẩy

Plugin phần cứng do cộng đồng duy trì cho vLLM trên Apple Silicon

Đánh giá và nâng cao các triển khai LLM của bạn cho nhu cầu suy luận trong thế giới thực

Các công thức phổ biến để chạy vLLM

Một thư viện thống nhất để xây dựng, đánh giá và lưu trữ các thuật toán giải mã suy đoán cho suy luận LLM trong vLLM