mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: कुशल LLM सर्विंग के लिए W4A8KV4 क्वांटाइजेशन और सिस्टम को-डिज़ाइन; [MLSys'25] LServe: एकीकृत स्पार्स अटेंशन के साथ कुशल लॉन्ग-सीक्वेंस LLM सर्विंग।
स्टार
856
फ़ोर्क
69
भाषा
C++
लाइसेंस
Apache-2.0
आख़िरी push
2 वर्ष पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।