microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] 為了加速長上下文 LLM 的推論，採用近似與動態稀疏計算注意力機制，在 A100 上進行預填時可將推論延遲降低高達 10 倍，同時維持準確度。