シーンセグメンテーションにおけるコンテキストプライアリ

最近の研究では、より正確なセグメンテーション結果を得るために文脈的依存関係の活用が広く検討されている。しかし、大多数の手法は異なる種類の文脈的依存関係を明確に区別しておらず、これがシーン理解の精度を損なう要因となる可能性がある。本研究では、クラス内およびクラス間の文脈を明確に区別できるように、特徴量の集約プロセスを直接的に制御するアプローチを提案する。具体的には、類似度損失（Affinity Loss）の監督のもとで、文脈的事前知識（Context Prior）を設計した。入力画像とその正解ラベルを用いて、Affinity Lossは理想的な類似度マップを構築し、Context Priorの学習を監督する。学習されたContext Priorは同じカテゴリに属するピクセルを抽出する一方で、逆方向のPriorは異なるクラスに属するピクセルに注目する。従来の深層CNNに組み込むことで、提案するContext Prior Layerはクラス内およびクラス間の文脈的依存関係を選択的に捉えることができ、堅牢な特徴表現を実現する。効果の検証のため、効果的なContext Prior Network（CPNet）を設計した。広範な定量的および定性的評価により、提案モデルが最先端のセマンティックセグメンテーション手法と比較しても優れた性能を発揮することが示された。特に、ADE20Kでは46.3%のmIoU、PASCAL-Contextでは53.9%のmIoU、Cityscapesでは81.3%のmIoUを達成した。コードは https://git.io/ContextPrior で公開されている。