适用于双 RTX 2080 Ti 22GB + NVLink 的终极 vLLM 运行环境,支持 FP8 权重,可实现 Qwen 27B 本地推理,单请求解码速度最高达 100+ tok/s
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。