NVIDIA/TransformerEngine

NVIDIA GPU上のTransformerモデルを高速化するライブラリ。Hopper、Ada、Blackwell GPUでの8ビットおよび4ビット浮動小数点（FP8およびFP4）精度を利用し、学習と推論の両方でより低いメモリ使用量と優れたパフォーマンスを提供します。