microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] LLM 추론 속도를 높이고 핵심 정보 인식 능력을 향상시키기 위해 프롬프트와 KV-Cache를 압축하며, 성능 저하를 최소화하면서 최대 20배 압축을 달성합니다.
스타
6,623
포크
420
언어
Python
라이선스
MIT
마지막 푸시
5개월 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.