跳到主要内容
buildradar
登录

weicj/vLLM-2080Ti-Definitive

@weicj

适用于双 RTX 2080 Ti 22GB + NVLink 的终极 vLLM 运行环境,支持 FP8 权重,可实现 Qwen 27B 本地推理,单请求解码速度最高达 100+ tok/s

星数
838
Fork 数
126
语言
Python
许可
Apache-2.0
最后推送
2天前
Python

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。