mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: Lượng tử hóa W4A8KV4 và đồng thiết kế hệ thống để phục vụ LLM hiệu quả; [MLSys'25] LServe: Phục vụ LLM chuỗi dài hiệu quả với Unified Sparse Attention
Sao
856
Fork
69
Ngôn ngữ
C++
Giấy phép
Apache-2.0
Push gần nhất
2 năm trước
Intel liên quan (0)
Chưa có intel liên quan
Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.