weicj/vLLM-2080Ti-Definitive
@weicjडुअल RTX 2080 Ti 22GB + NVLink के लिए निश्चित vLLM रनटाइम, जो FP8 वेट सपोर्ट के साथ 100+ tok/s सिंगल-रिक्वेस्ट डिकोड पर Qwen 27B लोकल इन्फरेंस प्रदान करता है।
स्टार
828
फ़ोर्क
124
भाषा
Python
लाइसेंस
Apache-2.0
आख़िरी push
2 दिन पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।