microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Para acelerar la inferencia de LLMs de contexto largo, calcula la atención de manera aproximada y dispersa dinámica, lo que reduce la latencia de inferencia hasta 10 veces en el pre-llenado en una A100 manteniendo la precisión.