適用於雙 RTX 2080 Ti 22GB + NVLink 的終極 vLLM 執行環境,支援 FP8 權重,可實現 Qwen 27B 本地推論,單請求解碼速度最高達 100+ tok/s
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。