NVIDIA/TensorRT-LLM
@NVIDIATensorRT LLM उपयोगकर्ताओं को लार्ज लैंग्वेज मॉडल्स (LLMs) को परिभाषित करने के लिए एक उपयोग में आसान Python API प्रदान करता है और NVIDIA GPUs पर कुशलतापूर्वक इन्फरेंस करने के लिए अत्याधुनिक ऑप्टिमाइज़ेशन का समर्थन करता है। TensorRT LLM में Python और C++ रनटाइम बनाने के लिए घटक भी शामिल हैं जो इन्फरेंस निष्पादन को बेहतर तरीके से ऑर्केस्ट्रेट करते हैं।
स्टार
14,498
फ़ोर्क
2,701
भाषा
Python
लाइसेंस
NOASSERTION
आख़िरी push
2 दिन पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।