मालिक · scrya-com
scrya-com
scrya-com की ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
1 रिपॉजिटरी
- #1
ब्लॉक-डायगोनल रोटेशन के माध्यम से KV कैश कम्प्रेशन। TurboQuant से बेहतर: बेहतर PPL (6.91 बनाम 7.07), 28% तेज़ डिकोड, 5.3x तेज़ प्रीफिल, 44x कम पैरामीटर्स। ड्रॉप-इन llama.cpp इंटीग्रेशन।
★ 1,045+3पिछले 7 दिनों में स्टार का बदलाव
