Propriétaire · weicj
weicj
Dépôts open source suivis de weicj, triés par étoiles.
1 dépôt
- #1
Le runtime vLLM définitif pour deux cartes RTX 2080 Ti 22 Go + NVLink, offrant une inférence locale pour Qwen 27B avec un décodage à requête unique atteignant plus de 100 tok/s et un support des poids FP8.
★ 828+53Évolution des étoiles sur les 7 derniers jours
