microsoft/MInference
@microsoft[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Long-context LLM의 추론 속도를 높이기 위해 어텐션을 근사 및 동적 희소(sparse) 계산하여, 정확도를 유지하면서 A100에서의 프리필(pre-filling) 추론 지연 시간을 최대 10배까지 줄입니다.
스타
1,226
포크
80
언어
Python
라이선스
MIT
마지막 푸시
5개월 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.