Eigentümer · weicj

weicj

Erfasste Open-Source-Repos von weicj, sortiert nach Sternen.

1 Repo

#1
vLLM-2080Ti-Definitive ↗@weicjPython
Die definitive vLLM-Laufzeitumgebung für zwei RTX 2080 Ti (22 GB) + NVLink, die lokale Qwen-27B-Inferenz mit maximal über 100 Token/s Single-Request-Dekodierung und Unterstützung für FP8-Gewichte liefert
★ 828+53Sterne-Änderung der letzten 7 Tage