microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] LLMの推論速度を向上させ、LLMが主要な情報を認識する能力を高めるため、プロンプトとKV-Cacheを圧縮します。これにより、最小限のパフォーマンス損失で最大20倍の圧縮を達成します。
スター
6,623
フォーク
420
言語
Python
ライセンス
MIT
最終プッシュ
5 か月前
関連 Intel（0）
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。