跳到主要內容
buildradar
Sign in

scrya-com/rotorquant

@scrya-com

透過區塊對角旋轉進行 KV 快取壓縮。超越 TurboQuant:具備更好的 PPL(6.91 對比 7.07)、解碼速度快 28%、預填充速度快 5.3 倍、參數減少 44%。可無縫整合至 llama.cpp。

星數
1,048
Fork 數
90
語言
Python
授權
最後推送
5 個月前
Python

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。