scrya-com/rotorquant
@scrya-comब्लॉक-डायगोनल रोटेशन के माध्यम से KV कैश कम्प्रेशन। TurboQuant से बेहतर: बेहतर PPL (6.91 बनाम 7.07), 28% तेज़ डिकोड, 5.3x तेज़ प्रीफिल, 44x कम पैरामीटर्स। ड्रॉप-इन llama.cpp इंटीग्रेशन।
स्टार
1,047
फ़ोर्क
90
भाषा
Python
लाइसेंस
—
आख़िरी push
5 माह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।