NVIDIA/TransformerEngine
@NVIDIAEine Bibliothek zur Beschleunigung von Transformer-Modellen auf NVIDIA-GPUs, einschließlich der Verwendung von 8-Bit- und 4-Bit-Gleitkommapräzision (FP8 und FP4) auf Hopper-, Ada- und Blackwell-GPUs, um eine bessere Leistung bei geringerer Speichernutzung sowohl beim Training als auch bei der Inferenz zu erzielen.
Sterne
3.509
Forks
814
Sprache
Python
Lizenz
Apache-2.0
Letzter Push
vor 3 Tagen
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.