IST-DASLab/marlin
@IST-DASLabFP16xINT4 LLM इंफरेंस कर्नेल जो 16-32 टोकन के मध्यम बैच आकार तक लगभग-आदर्श ~4x स्पीडअप प्राप्त कर सकता है।
स्टार
1,138
फ़ोर्क
92
भाषा
Python
लाइसेंस
Apache-2.0
आख़िरी push
2 वर्ष पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।