CIAN: 画像間アフィニティネットワークを用いた弱教師付きセマンティックセグメンテーション

画像レベルのラベルのみを使用した弱教師付きセマンティックセグメンテーションは、ピクセルレベルのラベル付けにかかる大量の人間の労力を節約します。最先端の手法は、各画像のマスクを生成するためにさまざまな革新的な制約とヒューリスティックルールに依存しています。これらの方法により大きな進歩が達成されていますが、各画像を独立して扱い、異なる画像間の関係性を考慮していないという問題があります。本論文では、弱教師付きセグメンテーションにおいて異なる画像間の関係性が極めて重要であると主張します。なぜなら、この関係性は画像間にわたる関連領域をつなぎ、補完的な表現を伝播させてより一貫性があり且つ統合された領域を得ることができるからです。この情報を活用するため、我々はエンドツーエンドのクロスイメージアフィニティモジュールを提案します。このモジュールは、画像レベルのラベルのみを使用してピクセルレベルでの異なる画像間の関係性を活用します。これにより、Pascal VOC 2012検証セットおよびテストセットでそれぞれ64.3%および65.3%のmIoU（平均交差率）を達成し、弱教師付きセマンティックセグメンテーションにおいて画像レベルのラベルのみを使用した新たな最先端結果を示しました。これは我々の手法の優位性を明確に示しています。