rednote-machine-learning/RedKnot
@rednote-machine-learningहेड-अवेयर KV रीयूज़ और SegPagedAttention के साथ कुशल लॉन्ग-कॉन्टेक्स्ट LLM सर्विंग।
स्टार
2,105
फ़ोर्क
858
भाषा
Python
लाइसेंस
Apache-2.0
आख़िरी push
5 दिन पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।