期待最大化注意ネットワークによる意味分割

自己注意機構はさまざまなタスクで広く使用されています。この機構は、すべての位置の特徴量を重み付け和によって各位置の表現を計算することを目的として設計されており、したがって、長距離の関係を捉えるためにコンピュータビジョンタスクに適しています。しかし、計算量が大きいため、注意マップは他のすべての位置に対して計算されるため、その利用には課題があります。本論文では、注意機構を期待最大化手法（Expectation-Maximization: EM）に基づいて定式化し、注意マップの計算基盤となるよりコンパクトな一連の基底を反復的に推定します。これらの基底に対する重み付け和により、得られる表現は低階数となり、入力からのノイジーな情報を軽減します。提案する期待最大化注意（Expectation-Maximization Attention: EMA）モジュールは、入力の変動に対して堅牢であり、メモリと計算にも優れています。さらに、基底の維持と正規化方法を設定することで、その学習プロセスを安定させます。PASCAL VOC, PASCAL Context, COCO Stuff などの人気のあるセマンティックセグメンテーションベンチマークにおいて広範な実験を行い、新しい記録を樹立しました。