microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] 為加速 LLM 推理並提升 LLM 對關鍵資訊的感知，壓縮提示與 KV-Cache，實現最高 20 倍壓縮且性能損失極小。
星數
6,623
Fork 數
420
語言
Python
授權
MIT
最後推送
5 個月前
相關情報（0）
還沒有相關情報
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。
[EMNLP'23, ACL'24] 為加速 LLM 推理並提升 LLM 對關鍵資訊的感知，壓縮提示與 KV-Cache，實現最高 20 倍壓縮且性能損失極小。
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。