microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] 为加速 LLM 推理并提升 LLM 对关键信息的感知，压缩提示与 KV-Cache，实现最高 20 倍压缩且性能损失极小。
星数
6,623
Fork 数
420
语言
Python
许可
MIT
最后推送
5个月前
相关情报（0）
还没有相关情报
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。
[EMNLP'23, ACL'24] 为加速 LLM 推理并提升 LLM 对关键信息的感知，压缩提示与 KV-Cache，实现最高 20 倍压缩且性能损失极小。
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。