Cette troisième partie d’une série consacrée au profilage de PyTorch examine l’exécution des mécanismes d’attention, élément central des architectures modernes d’intelligence artificielle. Après avoir analysé les opérations arithmétiques basiques et les couches de réseaux de neurones, l’analyse se concentre sur la traduction concrète de l’attention en noyaux GPU. Une implémentation standard de l’attention enchaîne multiplications matricielles, mise à l’échelle, masquage causale, normalisation softmax et nouvelle multiplication. Le traçage révèle une copie mémoire implicite générée par l’opération de masquage classique. En passant à une version sur place, indiquée par un soulignement dans la bibliothèque, ce noyau de copie disparaît. Cette modification d’une seule ligne réduit la latence et la consommation mémoire, un gain qui s’accumule significativement sur les centaines de couches des grands modèles de langage. PyTorch intègre désormais cette logique dans la fonction scaled_dot_product_attention. Bien qu’elle simplifie le code, elle dispatche dynamiquement vers différents arrière-plans d’exécution. Le profilage de ces implémentations expose des compromis techniques précis. Le backend mathématique sert de référence absolue : il décompose le calcul en environ vingt noyaux, utilise la précision FP32 sur les cœurs CUDA standards et régénère le masque à chaque inférence. Si cette approche garantit une stabilité numérique et évite les valeurs indéfinies, elle est nettement moins performante que l’implémentation manuelle optimisée. Les backend Efficient et Flash fusionnent l’ensemble du pipeline en un unique noyau conçu pour les cœurs Tensor en précision BF16. Le backend Flash, basé sur FlashAttention-2, offre les meilleurs résultats. Sa lecture dans le profileur semble contre-intuitive car il indique un faible taux d’utilisation du matériel. Cette occupation réduite est délibérée : le noyau alloue massivement registres et mémoire partagée pour conserver les données à l’intérieur du processeur, évitant ainsi les transferts coûteux vers la mémoire vidéo principale, principal goulot d’étranglement des calculateurs d’attention. Le backend cuDNN adopte une approche générative, créant un noyau sur mesure pour chaque forme de données. Il supprime les transpositions de tenseurs et utilise une interface de lancement système, ce qui déplace une partie du calcul vers le processeur central pour la planification des paramètres. Sur la configuration testée, il reste légèrement en retrait de Flash, mais sa capacité d’adaptation dynamique le rend indispensable pour des shapes variées ou des configurations matérielles différentes. L’ensemble de ces analyses confirme que l’optimisation GPU ne dépend pas du nombre apparent d’opérations, mais de la gestion fine des flux mémoire et des unités de calcul. La pratique recommandée consiste à formuler des hypothèses avant chaque ouverture de trace. Les écarts entre les attentes et les métriques observées révèlent systématiquement les mécanismes d’accélération masqués ou les surcoûts invisibles. Maîtriser cette méthodologie transforme le profilage en une discipline accessible, permettant aux ingénieurs d’affiner concrètement l’efficacité de leurs infrastructures d’IA.