NVIDIA/TransformerEngine
@NVIDIANVIDIA GPU पर Transformer मॉडल को तेज़ी से चलाने के लिए एक लाइब्रेरी, जिसमें Hopper, Ada और Blackwell GPU पर 8-बिट और 4-बिट फ़्लोटिंग पॉइंट (FP8 और FP4) सटीक का उपयोग शामिल है, ताकि ट्रेनिंग और इन्फेंस दोनों में कम मेमोरी उपयोग के साथ बेहतर प्रदर्शन मिल सके।
स्टार
3,518
फ़ोर्क
816
भाषा
Python
लाइसेंस
Apache-2.0
आख़िरी push
5 दिन पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।