jmaczan/tiny-vllm
@jmaczanXây dựng công cụ suy luận LLM hiệu suất cao của riêng bạn bằng C++ và CUDA - một phiên bản nhỏ hơn của vLLM
Sao
1.094
Fork
85
Ngôn ngữ
C++
Giấy phép
Apache-2.0
Push gần nhất
2 tuần trước
Intel liên quan (0)
Chưa có intel liên quan
Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.