Transformerモデルにおける回転位置埋め込み（Rotary Position Embedding; RoPE）には、長さの外挿性能を低下させる固有の限界が存在する。本研究では、位置符号化を施したアテンションマップをノイズを含む特徴マップと再解釈し、特徴マップ内の異常周波数帯域を検出するためのトレーニング不要な手法である「ノイズ除去位置符号化（Denoising Positional Encoding; DoPE）」を提案する。この手法は、特徴マップに内在するノイズ特性を活用し、パラメータフリーなガウス分布に基づいて再パラメータ化することで、堅牢な外挿性能を実現する。理論的にも、アテンションシンク（attention sink）現象の根本的な原因と、切断行列エントロピー（truncated matrix entropy）との関係を明らかにする。needle-in-a-haystackおよび多数ショットのコンテキスト学習タスクにおける実験により、DoPEが長期間コンテキスト（最大64Kトークン）においても検索精度と推論安定性を顕著に向上させることを示した。結果から、位置符号化に対するノイズ除去戦略がアテンションシンクを効果的に軽減し、バランスの取れたアテンションパターンを回復することの有効性が確認された。本研究は、長さ一般化性能を向上させるためのシンプルでありながら強力な解決策を提供する。プロジェクトページ：https://The-physical-picture-of-LLMs.github.io