L'essor des architectures transformer, devenues le socle des grands modèles d'intelligence artificielle, s'accompagne d'une consommation exponentielle de puissance de calcul. Pour réduire les coûts et accélérer les phases d'entraînement, NVIDIA recommande l'usage intensif de formats basse précision, notamment le FP8 et le NVFP4, sur ses puces Hopper et Blackwell. Bien que ces formats accélèrent les multiplications matricielles, leur efficacité réelle varie considérablement selon la configuration des modèles. Activer la basse précision ne garantit pas automatiquement de gains de performance. La vitesse d'entraînement dépend avant tout de la taille et de la forme des matrices calculées par le réseau. NVIDIA met à disposition son moteur Transformer Engine pour quantifier dynamiquement les données et dispatcher les noyaux de calcul optimaux. L'entreprise insiste sur la nécessité de profiler les charges de travail spécifiques avant tout déploiement. Les tests effectués sur un modèle linguistique de cinq milliards de paramètres montrent que les accélérations théoriques sont souvent atténuées par les frais de quantification. En mode réel, incluant la préparation des données, le NVFP4 offre des performances accrues mais modérées, notamment sur les matrices larges. Les petites matrices, comme celles du mécanisme d'attention, profitent peu de la basse précision. À l'inverse, le FP8 à mise à jour retardée se distingue en mode dynamique grâce à une surcharge réduite, surpassant ses concurrents FP8 lors des mesures réelles. Ces résultats confirment que le passage à la basse précision doit être validé par des benchmarks ciblés. Les développeurs peuvent isoler la vitesse pure des noyaux matériels en préquantifiant les entrées, puis comparer ce résultat au mode dynamique pour évaluer l'impact de la quantification. Il est également crucial de surveiller les replis silencieux vers le FP8 ou le BF16, qui faussent les mesures de performance et d'utilisation mémoire. Adopter cette approche analytique permet d'optimiser l'utilisation des ressources GPU, d'accélérer les itérations expérimentales et de rendre économiquement viable l'entraînement de modèles toujours plus volumineux. Le benchmarking précis des formats basse précision s'impose désormais comme une étape incontournable pour les ingénieurs souhaitant exploiter pleinement les capacités matérielles des dernières générations de processeurs.