0xSero/turboquant
@0xSeroTurboQuant: Triton कर्नेल + vLLM एकीकरण के साथ LLM अनुमान (inference) के लिए लगभग-इष्टतम KV कैश क्वांटाइजेशन (3-बिट कुंजियाँ, 2-बिट मान)
स्टार
1,753
फ़ोर्क
195
भाषा
Python
लाइसेंस
GPL-3.0
आख़िरी push
5 माह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।