mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe：用於高效 LLM 服務的 W4A8KV4 量化與系統共同設計；[MLSys'25] LServe：使用統一稀疏注意力的高效長序列 LLM 服務
星數
856
Fork 數
69
語言
C++
授權
Apache-2.0
最後推送
2 年前
相關情報（0）
還沒有相關情報
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。
[MLSys'25] QServe：用於高效 LLM 服務的 W4A8KV4 量化與系統共同設計；[MLSys'25] LServe：使用統一稀疏注意力的高效長序列 LLM 服務
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。