Lompat ke konten utama
buildradar
Sign in

turboderp-org/exllamav3

@turboderp-org

Pustaka kuantisasi dan inferensi yang dioptimalkan untuk menjalankan LLM secara lokal di GPU kelas konsumen modern

Bintang
1.267
Fork
146
Bahasa
Python
Lisensi
MIT
Push terakhir
6 hari yang lalu
Python

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.