microsoft/LLMLingua
@microsoft[EMNLP'23, ACL'24] Để tăng tốc độ suy luận của LLM và nâng cao khả năng nhận thức thông tin quan trọng của LLM, hãy nén prompt và KV-Cache, đạt hiệu suất nén gấp tới 20 lần với mức suy giảm hiệu năng tối thiểu.
Sao
6.623
Fork
420
Ngôn ngữ
Python
Giấy phép
MIT
Push gần nhất
5 tháng trước
Intel liên quan (0)
Chưa có intel liên quan
Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.