跳到主要內容
buildradar
登入

weicj/vLLM-2080Ti-Definitive

@weicj

適用於雙 RTX 2080 Ti 22GB + NVLink 的終極 vLLM 執行環境,支援 FP8 權重,可實現 Qwen 27B 本地推論,單請求解碼速度最高達 100+ tok/s

星數
838
Fork 數
126
語言
Python
授權
Apache-2.0
最後推送
3 天前
Python

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。