scrya-com/rotorquant
@scrya-com透過區塊對角旋轉進行 KV 快取壓縮。超越 TurboQuant:具備更好的 PPL(6.91 對比 7.07)、解碼速度快 28%、預填充速度快 5.3 倍、參數減少 44%。可無縫整合至 llama.cpp。
星數
1,048
Fork 數
90
語言
Python
授權
—
最後推送
5 個月前
相關情報(0)
還沒有相關情報
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。