跳到主要内容
buildradar
登录

0xSero/turboquant

@0xSero

TurboQuant:基于 Triton 内核与 vLLM 集成的 LLM 推理近乎最优 KV 缓存量化(3 比特键、2 比特值)

星数
1,767
Fork 数
196
语言
Python
许可
GPL-3.0
最后推送
1周前
Python

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。