microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] Zur Beschleunigung der LLM-Inferenz und Verbesserung der Wahrnehmung von Schlüsselinformationen durch LLMs werden Prompt und KV-Cache komprimiert, was eine bis zu 20-fache Kompression bei minimalem Leistungsverlust erreicht.
Sterne
6.623
Forks
420
Sprache
Python
Lizenz
MIT
Letzter Push
vor 5 Monaten
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.