デュアルRTX 2080 Ti 22GB + NVLink向けの決定版vLLMランタイム。FP8ウェイトをサポートし、Qwen 27Bのローカル推論で単一リクエストのデコード時に最大100+ tok/sを実現
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。
