scrya-com/rotorquant

Nén bộ đệm KV thông qua xoay khối chéo. Vượt qua TurboQuant: PPL tốt hơn (6.91 so với 7.07), giải mã nhanh hơn 28%, tiền điền (prefill) nhanh hơn 5.3 lần, ít tham số hơn 44%. Tích hợp trực tiếp vào llama.cpp.