NVIDIA/TransformerEngine

Una biblioteca para acelerar modelos Transformer en GPUs de NVIDIA, incluyendo el uso de precisión de punto flotante de 8 y 4 bits (FP8 y FP4) en GPUs Hopper, Ada y Blackwell, para ofrecer un mejor rendimiento con menor uso de memoria tanto en entrenamiento como en inferencia.