Die Rotations-Positionseingabe (Rotary Position Embedding, RoPE) in Transformer-Modellen weist inhärente Grenzen auf, die die Extrapolation der Sequenzlänge schwächen. Wir interpretieren die Aufmerksamkeitsmatrix mit Positionscode erneut als verrauschte Merkmalskarte und schlagen eine trainingsfreie Methode namens Denoising Positional Encoding (DoPE) vor, die auf der truncierten Matrixentropie basiert, um Ausreißer-Frequenzbänder in der Merkmalskarte zu detektieren. Unter Ausnutzung der Rauschcharakteristika der Merkmalskarte reparametrisieren wir diese anschließend mittels einer parameterfreien Gauß-Verteilung, um eine robuste Extrapolation zu erreichen. Unsere Methode enthüllt theoretisch die zugrundeliegende Ursache des Aufmerksamkeits-Sink-Phänomens sowie dessen Zusammenhang mit der truncierten Matrixentropie. Experimente auf Aufgaben des „Needle-in-a-Haystack“-Typs und vielfältiger Kontextlern-Szenarien zeigen, dass DoPE die Retrieval-Genauigkeit und die Stabilität des Schließens über erweiterte Kontexte (bis zu 64K Tokens) erheblich verbessert. Die Ergebnisse belegen, dass die Denoisierung von Positions-Eingaben effektiv Aufmerksamkeits-Sinks reduziert und ausgeglichene Aufmerksamkeitsmuster wiederherstellt, wodurch eine einfache, aber leistungsfähige Lösung für die Verbesserung der Längen-Verallgemeinerung bereitgestellt wird. Unser Projekt findet sich unter: https://The-physical-picture-of-LLMs.github.io