擁有者 · scrya-com
scrya-com
scrya-com 收錄中的開源專案，依星數排序。
共 1 個專案
- #1
透過區塊對角旋轉進行 KV 快取壓縮。超越 TurboQuant：具備更好的 PPL（6.91 對比 7.07）、解碼速度快 28%、預填充速度快 5.3 倍、參數減少 44%。可無縫整合至 llama.cpp。
★ 1,048+5近 7 天星數變化
scrya-com 收錄中的開源專案，依星數排序。
透過區塊對角旋轉進行 KV 快取壓縮。超越 TurboQuant：具備更好的 PPL（6.91 對比 7.07）、解碼速度快 28%、預填充速度快 5.3 倍、參數減少 44%。可無縫整合至 llama.cpp。