所有者 · scrya-com
scrya-com
scrya-com 收录中的开源项目，按星标数排序。
共 1 个项目
- #1
通过块对角旋转进行 KV 缓存压缩。超越 TurboQuant：具备更好的 PPL（6.91 对比 7.07）、解码速度快 28%、预填充速度快 5.3 倍、参数减少 44%。可无缝整合至 llama.cpp。
★ 1,048+5近 7 天星标变化
scrya-com 收录中的开源项目，按星标数排序。
通过块对角旋转进行 KV 缓存压缩。超越 TurboQuant：具备更好的 PPL（6.91 对比 7.07）、解码速度快 28%、预填充速度快 5.3 倍、参数减少 44%。可无缝整合至 llama.cpp。