アテンションに基づくアグリゲーションを畳み込みネットワークに拡張する

我々は、任意の畳み込みネットワークに注意メカニズムに基づくグローバルマップを追加することで、非局所的推論を実現する手法を提示する。最終層の平均プーリングを、Transformerブロックに類似した注意ベースの集約層に置き換えることで、各パッチが分類決定にどの程度寄与しているかを重み付けする。この学習された集約層は、パッチベースの単純な畳み込みネットワークと接続され、2つのパラメータ（幅と深さ）によってパラメータ化される。ピラミッド型設計とは異なり、このアーキテクチャ族はすべての層において入力パッチの解像度を維持する。我々の実験により、物体分類、画像セグメンテーション、検出といった複数のコンピュータビジョンタスクにおいて、精度と複雑さの間で驚くほど優れたトレードオフ、特にメモリ消費量の観点で高い性能が得られることを示している。