要約
画像レベルのラベル（画像全体のラベル）のみを用いて、高コストなピクセル単位のマスクやバウンディングボックスのアノテーションに頼らない弱教師ありセマンティックインスタンスセグメンテーションは、ディープラーニングのデータ依存性を軽減する上で重要な課題である。本論文では、すべての学習画像の画像レベル情報を統合して大規模な知識グラフを構築し、そのグラフから得られるセマンティック関係を活用することで、この困難な問題に取り組む。具体的には、カテゴリの事前知識を仮定しない汎用的なセグメントベースのオブジェクト提案（SOP）から出発する。その後、画像レベルラベルを持つ学習画像を用いてエンドツーエンドで学習可能な複数インスタンス学習（MIL）フレームワークを提案する。各提案に対して、このMILフレームワークは同時に確率分布とカテゴリに依存するセマンティック特徴量を計算可能であり、これらを用いて大規模な無向グラフを構築する。背景クラスもこのグラフに含まれることで、大量のノイズを含むオブジェクト提案を除去できる。このグラフに対する最適なマルチウェイカットにより、各提案に信頼性の高いカテゴリラベルを割り当てることが可能となる。カテゴリラベルが付与されたノイズ除去済みのSOPは、学習画像に対する擬似インスタンスセグメンテーションと見なすことができ、これを用いて完全教師ありモデルを学習する。提案手法は、弱教師ありインスタンスセグメンテーションおよびセマンティックセグメンテーションの両分野で、現在の最先端性能を達成した。