microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] 为了加速长上下文 LLM 的推理，采用近似与动态稀疏计算注意力机制，在 A100 上进行预填充时可将推理延迟降低高达 10 倍，同时保持准确度。