NVIDIA/Model-Optimizer
@NVIDIAक्वांटाइजेशन, डिस्टिलेशन, प्रूनिंग, न्यूरल आर्किटेक्चर सर्च, स्पेक्युलेटिव डिकोडिंग आदि जैसी SOTA मॉडल ऑप्टिमाइजेशन तकनीकों की एक एकीकृत लाइब्रेरी। यह TensorRT-LLM, TensorRT, vLLM आदि जैसे डाउनस्ट्रीम डिप्लॉयमेंट फ्रेमवर्क के लिए इन्फरेंस गति को अनुकूलित करने वास्ते डीप लर्निंग मॉडल को संपीड़ित करती है।
स्टार
3,568
फ़ोर्क
565
भाषा
Python
लाइसेंस
Apache-2.0
आख़िरी push
2 दिन पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।