L’encodage de position rotatif (Rotary Position Embedding, RoPE) dans les modèles Transformer présente des limites intrinsèques qui affaiblissent la capacité d’extrapolation en longueur. Nous réinterprétons la carte d’attention avec une encodage de position comme une carte de caractéristiques bruitée, et proposons une méthode sans entraînement appelée Encodage de Position Débruité (Denoising Positional Encoding, DoPE), fondée sur l’entropie tronquée de matrice, pour détecter les bandes de fréquence anormales dans la carte de caractéristiques. En exploitant les propriétés de bruit de la carte de caractéristiques, nous réparamétrons celle-ci à l’aide d’une distribution gaussienne sans paramètre, permettant ainsi une extrapolation robuste. Notre méthode révèle théoriquement la cause fondamentale du phénomène de « puits d’attention » (attention sink) et son lien avec l’entropie tronquée de matrice. Des expériences sur des tâches de recherche d’aiguille dans une botte de foin (needle-in-a-haystack) et d’apprentissage in-context à plusieurs exemples (many-shot) démontrent que DoPE améliore de manière significative la précision de récupération et la stabilité du raisonnement sur des contextes étendus (jusqu’à 64K tokens). Les résultats montrent qu’une stratégie de débruitage des encodages de position atténue efficacement les puits d’attention et restaure des schémas d’attention équilibrés, offrant ainsi une solution simple mais puissante pour améliorer la généralisation en longueur. Page du projet : https://The-physical-picture-of-LLMs.github.io