Eigentümer · scrya-com

scrya-com

Erfasste Open-Source-Repos von scrya-com, sortiert nach Sternen.

1 Repo

#1
rotorquant ↗@scrya-comPython
KV-Cache-Kompression über blockdiagonale Rotation. Schlägt TurboQuant: bessere PPL (6,91 vs. 7,07), 28 % schnelleres Dekodieren, 5,3x schnelleres Prefill, 44x weniger Parameter. Nahtlose llama.cpp-Integration.
★ 1.045+0Sterne-Änderung der letzten 7 Tage