NVIDIA/TransformerEngine

Sebuah pustaka untuk mengakselerasi model Transformer pada GPU NVIDIA, termasuk menggunakan presisi floating point 8-bit dan 4-bit (FP8 dan FP4) pada GPU Hopper, Ada, dan Blackwell, untuk memberikan performa yang lebih baik dengan penggunaan memori yang lebih rendah baik dalam pelatihan maupun inferensi.