microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] Pour accélérer l'inférence des LLM et améliorer la perception des informations clés, compresse le prompt et le KV-Cache, atteignant jusqu'à 20x de compression avec une perte de performance minimale.
Étoiles
6 623
Bifurcations
420
Langage
Python
Licence
MIT
Dernier push
il y a 5 mois
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.