MARS:弱教師付きセマンティックセグメンテーションにおける追加の教師信号を用いずにモデルに依存しないバイアス付きオブジェクト除去

弱教師付きセマンティックセグメンテーションは、画像レベルのクラスラベルといった弱教師信号を用いてセマンティックセグメンテーションモデルを学習することで、ラベル付けコストを削減することを目指している。しかし、大多数の既存手法は正確な局在マップの生成に苦労しており、クラス関連の背景(すなわちバイアスを持つ物体)において誤った予測を引き起こすという問題に直面している。たとえば、列車クラスとして鉄道を検出してしまうような事例が挙げられる。近年のバイアス物体を除去する手法では、各問題となるクラスに対してバイアス物体を手動で特定し、予測結果を確認してデータセットを収集するといった追加の監視が必要となるため、複数ラベルや複雑なバイアス関係を持つ実世界データセットへの適用性が限られていた。本研究では、まず、同じデータセット内におけるバイアス物体と背景のマッチングによってバイアス特徴を分離・除去可能であるという観察に基づき、追加の監視なしにバイアス物体を完全自動で除去するモデル非依存型フレームワーク「MARS(Model-Agnostic biased object Removal without additional Supervision)」を提案する。MARSは、無監視手法のセマンティックに一貫した特徴を活用し、疑似ラベル内のバイアス物体を効果的に排除する。驚くべきことに、MARSは追加の監視を一切用いずに、さまざまな弱教師付きセグメンテーション(WSSS)モデルの性能を常に30%以上向上させ、PASCAL VOC 2012(val: 77.7%, test: 77.2%)およびMS COCO 2014(val: 49.4%)という2つの主要ベンチマークにおいて、新たなSOTA(最先端)結果を達成した。