Command Palette
Search for a command to run...
クロス画像意味構造のマイニングによる弱教師付きセマンティックセグメンテーション
クロス画像意味構造のマイニングによる弱教師付きセマンティックセグメンテーション
Guolei Sun Wenguan Wang Jifeng Dai Luc Van Gool
概要
本稿では、画像レベルのラベルのみを用いたセマンティックセグメンテーションの学習問題に焦点を当てる。現在の主流な手法は、分類器から得られるオブジェクト局在マップを監督信号として利用しているが、これらのマップがオブジェクトのより完全な内容を捉えることに課題を抱えている。従来の研究が主に画像内情報に注目しているのに対し、本研究は、画像間のセマンティック関係の価値に着目し、包括的なオブジェクトパターンの抽出を実現することを目的とする。これを達成するために、分類器に二つのニューラルコアテンションを組み込み、画像間の意味的類似性と相違性を補完的に捉える。具体的には、訓練用の画像ペアに対して、一方のコアテンションは共通の意味情報を、共に注目されるオブジェクトから認識させるよう促す。他方のコアテンション(対比的コアテンション)は、共通でないオブジェクトから共有されない意味情報を識別させるように駆動する。これにより、分類器はより多様なオブジェクトパターンを発見し、画像領域における意味の適切な局在化を実現できる。さらに、コアテンションは他の関連画像からのコンテキストを活用することで、局在マップの推論を向上させ、最終的にセマンティックセグメンテーションの学習に寄与する。本手法は、オブジェクトパターン学習を強化するだけでなく、より本質的には、以下の3種類の弱教師付きセマンティックセグメンテーション(WSSS)設定を統一的に処理するフレームワークを提供している:(1)正確な画像レベルラベルのみを用いた学習、(2)追加の単一ラベルデータを用いた学習、(3)追加のノイズを含むウェブデータを用いた学習。これらのすべての設定において、新たなSOTA(State-of-the-Art)を達成し、その有効性と汎用性を実証した。さらに、本手法はCVPR2020「不完全なデータからの学習」チャレンジにおける「弱教師付きセマンティックセグメンテーショントラック」で1位を獲得した。