トランスフォーマーの「マルチヘッドアテンション」は単なる加算処理の集約だった

「トランスフォーマー（およびアテンション）は単なる足し算のマシンに過ぎない」とする論文が注目を集めている。この研究は、ニューラルネットワークの内部メカニズムを逆工程し、人間が理解できるアルゴリズムや概念に変換する「メカニスティック解釈」というAIの新しい分野に焦点を当てている。従来の説明性技術であるSHAPやLIMEとは異なり、この分野は特徴の影響だけでなく、ネットワーク内のニューロンがどのように特徴を学習し、それが結果にどのように影響するかを明らかにすることを目指している。 SHAPは各特徴がモデルの予測に与える影響を計算し、LIMEは特定の入力例に対してシンプルな代替モデルを近似する。一方、メカニスティック解釈はより詳細な階層の理解を可能にし、特徴がネットワーク内でどのように処理されるかを追跡できる。 トランスフォーマーは深層学習モデルの中で特に説明性が難しいため、この分野では主にトランスフォーマーを対象としている。特に注目されているのは「マルチヘッドアテンション」の理解方法で、従来の「掛け算と連結」の処理を「足し算」に再解釈することで、新たなアプローチが可能になる。 トランスフォーマーの構造では、入力文が埋め込み行列に変換され、位置情報を加える。その後、Q、K、Vの行列に分割され、各ヘッドで線形変換が行われる。アテンション計算ではQとKの内積を計算し、その結果にVを掛けて出力を得る。従来は出力をすべて連結し、再び線形変換するが、メカニスティック解釈では、各ヘッドの出力を直接足し合わせる。 このアプローチは数学的に従来の方法と等価であり、各ヘッドが「チャネル」と見なせることを示している。この視点により、トランスフォーマーは「純粋な足し算モデル」として理解できる。このような見方により、特徴の学習過程を「足し算の経路」で追跡する「回路トレース」などの新しい可能性が生まれる。 この研究は、トランスフォーマーがアテンションを並列化して計算を最適化しているという従来の理解とは異なる視点を提示している。この新しい視点は、AIの内部構造をより深く理解する手がかりとなる。