マルチ多様体アテンションによるビジョンTransformer

近年、画像分類や行動認識など、複数のコンピュータビジョンタスクにおいて最先端の性能を発揮するため、ビジョントランスフォーマー（Vision Transformers）が非常に注目されている。その性能は、高次元のパッチ埋め込みと階層構造を用いることで著しく向上しているものの、トランスフォーマーの自己注意（self-attention）マップをより精緻化するための追加的なデータ表現の活用に関する研究は依然として限られている。本研究では、この問題に対処するため、従来の自己注意機構を置き換える新しい注目メカニズムとして「マルチ多様体マルチヘッド注意（multi-manifold multihead attention）」を提案する。この提案メカニズムは、入力空間を3つの異なる多様体——ユークリッド空間、対称正定値（Symmetric Positive Definite）空間、グラスマン多様体（Grassmann）——に分けてモデル化することで、入力データの異なる統計的・幾何学的特性を活用し、高次元かつ記述力豊かな注意マップの計算を実現する。これにより、ビジョントランスフォーマーは画像の重要な外観、色、テクスチャ特徴に対してより適切に注目を向けることができ、実験結果によれば、有名なデータセット上での分類およびセグメンテーション性能が向上することが示された。