NVIDIA hat ein Verfahren vorgestellt, wie Transformer-basierte Modelle durch Low-Precision-Training effizient optimiert werden können. Mit der rasant wachsenden Größe großer Sprach- und Generativ-KI-Modelle steigt der Bedarf an GPU-Rechenzeit und Iterationsgeschwindigkeit massiv an. Um dies zu adressieren, integrieren NVIDIA Hopper und Blackwell GPUs Unterstützung für Low-Precision-Formate wie FP8 und NVFP4. Der Hauptgewinn liegt in der Beschleunigung von GEMM-Operationen, die den Großteil der Trainingszeit in Anspruch nehmen. Eine pauschale Aktivierung der niedrigeren Präzision garantiert jedoch keine Ende-zu-Ende-Geschwindigkeitsvorteile, da Quantisierungs-Overhead, Kernel-Auswahl und nicht-GEMM-Operationen die Effizienz beeinträchtigen können. Ein neues Benchmarking-Tool von NVIDIA ermöglicht es Forschern, Modellkonfigurationen und Batch-Größen direkt in konkrete M-k-N-Matrixformen zu übersetzen. Das Tool analysiert die GEMM-Last separat für Fprop, Dgrad und Wgrad, um Auswirkungen unterschiedlicher Matrix-Aspektverhältnisse auf die Kernel-Auswahl zu erfassen. Dabei werden zwei Modi verglichen: Der Autocast-Modus simuliert das reale Training, indem er Quantisierung und Kernel-Ausführung zusammen misst, während der Prequantize-Modus den reinen Kernel-Throughput ohne dynamische Quantisierungsnebenkosten isoliert. Anhand des Fallbeispiels CodonFM 5B, einem sprachbasierten Modell für RNA-Anwendungen, wurden die Benchmarks auf der NVIDIA B300 SXM6 AC durchgeführt. Die Ergebnisse zeigen deutliche Unterschiede zwischen den Formaten. Im Autocast-Modus erzielt NVFP4 gegenüber BF16 eine Beschleunigung von 1,98-fach, während im isolierten Kernel-Test ein Faktor von 3,48 erreicht wird. Diese Diskrepanz quantifiziert den Aufwand für dynamische Quantisierung und Block-Skalierung pro Trainingsschritt. Große GEMM-Operationen wie der MLP-Down-Throughput profitieren deutlich stärker von NVFP4 als kleinere Matrizen, etwa in der Attention-Ausgabe, wo der Overhead den Geschwindigkeitsvorteil zunichtemacht. Zudem beweist FP8 DelayedScaling auf Blackwell-Hardware durch seine effiziente amax-Historien-Verwaltung konkurrenzfähige Laufzeiten, die im realen Autocast-Betrieb sogar über anderen FP8-Varianten liegen. Für die Praxis empfiehlt NVIDIA vor der Commitierung zu umfangreichen Trainingsläufen eine präzise Kernel-Profilierung. Der reale Ende-zu-Ende-Gewinn hängt stark von der spezifischen Architektur ab. Entwickler sollten Werkzeuge wie NVTE_LOG_LEVEL oder NVIDIA Nsight Systems nutzen, um sicherzustellen, dass Transformer Engine tatsächlich FP4-Kernel ausführt und nicht stillschweigend auf FP8 oder BF16 zurückfällt. Speicheranalysen liefern zusätzlichen Aufschluss: Identischer VRAM-Verbrauch zwischen MXFP8 und NVFP4 deutet darauf hin, dass die NVFP4-Gewichte nicht persistent gespeichert werden. Durch die gezielte Analyse der tatsächlichen GEMM-Formate lässt sich der optimale Precision-Modus datenbasiert bestimmen, was Ressourcen spart und die experimentelle Iterationsgeschwindigkeit bei der Entwicklung moderner KI-Modelle signifikant steigert.