Transformers dévoilés : comment l’attention self-réinvente le traitement des séquences

Dans ce deuxième volet de la série sur l’évolution des Transformers, nous explorons l’innovation centrale qui a révolutionné le traitement des séquences : le mécanisme d’attention auto-attentionnelle. Alors que les réseaux de neurones récurrents (RNN) étaient limités par leur capacité à capturer des dépendances à longue portée en raison de problèmes de gradient, les Transformers ont introduit une approche radicalement différente, fondée sur l’attention. L’idée clé repose sur l’analogie avec la lecture humaine : lorsqu’on lit une phrase, notre esprit ne se contente pas de maintenir un résumé mental du contexte. Il peut directement repérer les mots les plus pertinents pour comprendre le mot courant. Par exemple, dans la phrase « Le souris s’est figé, puis a fui en panique, son petit corps tremblant tandis que le chat fonçait vers lui. Effrayé par le mouvement soudain, le souris s’est précipité frénétiquement, désespéré d’échapper à la présence menaçante du prédateur », on comprend instantanément que « il » fait référence au « souris ». Ce raisonnement, appelé résolution de coreférence, est rendu possible grâce à l’auto-attention. Le mécanisme d’attention fonctionne en décomposant chaque mot (token) en trois vecteurs : Query (Q), Key (K) et Value (V). Le Query représente la question posée par le mot courant (« À qui me réfère-t-on ? »), le Key décrit ce que le mot peut offrir en termes de contexte (« Je suis un animal, une cible potentielle de peur »), et le Value contient sa signification réelle. Le score d’attention est calculé via un produit scalaire normalisé entre Q et K, puis passé par une fonction softmax pour produire des poids d’attention. Ces poids sont ensuite utilisés pour calculer une moyenne pondérée des valeurs, générant une représentation enrichie du mot qui intègre les informations pertinentes du reste de la séquence. Au fil des couches du modèle, ces attention évoluent : dans les premières couches, elles captent des relations syntaxiques simples (comme le lien sujet-verbe entre « chat » et « a poursuivi »), tandis que dans les couches profondes, elles apprennent des structures sémantiques complexes, comme la résolution de coreférence (« il » fait référence au « souris »). Cette progression est visualisée grâce à des outils comme BertViz, qui montrent comment les poids d’attention changent selon les couches. Le modèle Transformer repose entièrement sur ces mécanismes d’attention, sans recourir à des réseaux récurrents ou convolutifs. Chaque token peut interagir directement avec tous les autres, ce qui permet une parallélisation massive pendant l’entraînement — une avancée cruciale pour l’efficacité sur GPU. L’objectif d’entraînement repose sur la prédiction du mot suivant, avec une fonction de perte d’entropie croisée qui ajuste les poids via la rétropropagation. Les Transformers ont réussi grâce à plusieurs facteurs : pas de goulot d’étranglement de gradient (grâce à l’attention directe), entraînement parallèle, transfert de connaissances (pré-entraînement suivi d’un fine-tuning léger), et une scalabilité remarquable : plus on augmente les paramètres, mieux le modèle performe. Cependant, des défis subsistent : l’inférence reste séquentielle (chaque mot dépend du précédent), ce qui ralentit la génération ; les erreurs s’accumulent car le modèle ne peut pas revenir en arrière ; et la sortie est souvent peu diversifiée, sauf si on utilise des techniques comme l’échantillonnage à température. En somme, les Transformers ont transformé le paysage du traitement du langage en offrant une architecture puissante, scalable et fondée sur des principes cognitifs proches de la manière dont les humains comprennent le texte. Leur succès n’est pas seulement technique, mais aussi conceptuel : ils montrent que l’attention, loin d’être un simple outil, est une architecture fondamentale pour la compréhension séquentielle.