microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] LLM इन्फरेंस को गति देने और मुख्य जानकारी को समझने की क्षमता बढ़ाने के लिए प्रॉम्प्ट और KV-Cache को कंप्रेस करने का टूल, जो न्यूनतम प्रदर्शन हानि के साथ 20x तक कंप्रेशन प्राप्त करता है।
स्टार
6,623
फ़ोर्क
420
भाषा
Python
लाइसेंस
MIT
आख़िरी push
5 माह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।