Axial-DeepLab：パノプティックセグメンテーションのためのスタンドアロンAxial-Attention

畳み込みは局所性を活用することで効率性を実現するが、その代償として長距離の文脈情報を捉え損なうという課題がある。これに対し、自己注意（self-attention）はCNNに非局所的な相互作用を導入する手段として採用されている。最近の研究では、注意機構を局所領域に制限することで、自己注意層を積み重ねて完全に注意機構に依拠するネットワークを構築することが可能であることが示された。本論文では、この制約を排除することを試み、2次元自己注意を2つの1次元自己注意に分解する手法を提案する。これにより計算複雑度が低減され、より広い領域、あるいはグローバルな領域における注意を実現可能となる。併せて、位置に敏感な自己注意（position-sensitive self-attention）の設計も提案する。両者の組み合わせにより、新たな構成ブロックである「位置に敏感な軸方向注意（position-sensitive axial-attention）層」を構築した。この層は画像分類や密予測タスク向けの軸方向注意モデルを構築するために積み重ねることが可能である。我々は、4つの大規模データセット上でモデルの有効性を実証した。特に、ImageNetにおいて、既存のすべての独立型自己注意モデルを上回る性能を達成した。また、Axial-DeepLabは、COCO test-devにおいて、従来の最良モデルより2.8%高いPQを達成した。この従来の最良性能は、パラメータ数が3.8倍、計算量が27倍効率的な小規模バリアントによって得られたものである。さらに、Axial-DeepLabはMapillary VistasおよびCityscapesでも最先端の性能を達成した。