1CatAI/1Cat-vLLM
@1CatAIFork vLLM untuk Tesla V100 (SM70) dengan dukungan AWQ 4-bit, alur build CUDA 12.8, serta deployment Qwen3.5 27B/35B yang tervalidasi pada multi-GPU V100.
Bintang
931
Fork
184
Bahasa
Python
Lisensi
Apache-2.0
Push terakhir
14 jam yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.