scrya-com/rotorquant

ブロック対角回転によるKVキャッシュ圧縮。TurboQuantを凌駕：より優れたPPL（6.91対7.07）、28%高速なデコード、5.3倍高速なプリフィル、44倍少ないパラメータ。llama.cppへのシームレスな統合。