microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] Untuk mempercepat inferensi LLM dan meningkatkan persepsi LLM terhadap informasi kunci, kompres prompt dan KV-Cache, yang mencapai kompresi hingga 20x dengan penurunan performa minimal.
Bintang
6.623
Fork
420
Bahasa
Python
Lisensi
MIT
Push terakhir
5 bulan yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.