mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe：用于高效 LLM 服务的 W4A8KV4 量化与系统协同设计；[MLSys'25] LServe：使用统一稀疏注意力的高效长序列 LLM 服务
星数
858
Fork 数
69
语言
C++
许可
Apache-2.0
最后推送
2年前
相关情报（0）
还没有相关情报
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。
[MLSys'25] QServe：用于高效 LLM 服务的 W4A8KV4 量化与系统协同设计；[MLSys'25] LServe：使用统一稀疏注意力的高效长序列 LLM 服务
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。