mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: Kuantisasi W4A8KV4 dan Desain Bersama Sistem untuk Layanan LLM yang Efisien; [MLSys'25] LServe: Layanan LLM Sekuens Panjang yang Efisien dengan Perhatian Jarang Terpadu
Bintang
856
Fork
69
Bahasa
C++
Lisensi
Apache-2.0
Push terakhir
2 tahun yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.