要約
弱教師付きセマンティックセグメンテーション（WSSS）において、クラス活性マップ（CAMs）は一般的に1）オブジェクト全体をカバーしない、および2）関係のない領域にも活性化されるという問題を抱えている。これらの課題に対処するため、分類器と画像再構成器の対抗学習を用いた新たなWSSSフレームワークを提案する。画像がクラスごとのセグメントに完全に分解された場合、一つのセグメントの情報（色やテクスチャなど）は他のセグメントから推定することはできない。したがって、セグメント間の推定可能性（inferability）は、セグメンテーションの正確さを表す指標となる。本研究では、他のセグメントからあるセグメントを再構成できるかどうかという観点から、推定可能性を再構成品質として定量化する。もし他のセグメントからあるセグメントを再構成できるならば、そのセグメントは不正確であると判断できる。このアイデアをWSSSに適用するため、同時に2つのモデルを学習する：一つは画像をセグメントに分解するCAMsを生成する分類器であり、もう一つはセグメント間の推定可能性を測定する再構成器である。GAN（生成対抗ネットワーク）と同様に、これらの2つのネットワークは交互に対抗的に訓練されながら、互いに正のフィードバックを提供する。広範なアブレーションスタディにより、提案手法の優位性を検証した。本手法は、PASCAL VOC 2012およびMS COCO 2014の両データセットにおいて、新たなSOTA（最先端）性能を達成した。コードは https://github.com/sangrockEG/ACR で公開されている。