画像間顕著インスタンスの関連付けによる弱教師ありセマンティックセグメンテーション

画像レベルのキーワードアノテーションと対応する画像ピクセルの間に効果的に橋渡しを行うことは、弱教師ありセマンティックセグメンテーションにおける主な課題の一つである。本論文では、訓練画像に対して明著なオブジェクト（候補オブジェクト）を自動的に生成するため、インスタンスレベルの明著オブジェクト検出器を用いる。全訓練データセットにおける各明著インスタンスから抽出した類似性特徴を用いて、類似性グラフを構築し、その後、グラフ分割アルゴリズムを用いて複数のサブグラフに分割する。各サブグラフは単一のキーワード（タグ）に対応する。本研究で提案するグラフ分割に基づくクラスタリング手法は、訓練データセット内のすべての明著インスタンス間の関係性および各インスタンス内部の情報を同時に考慮できる点で優れている。さらに、注目（attention）情報の活用により、誤った割り当てを補正可能であることを示しており、より正確な結果を達成することが可能となる。本手法は汎用性が高く、最先端の完全教師ありネットワーク構造を任意に統合してセグメンテーションネットワークを学習可能である。セマンティックセグメンテーションにおいてDeepLabを用いた場合、本手法は最先端の弱教師あり手法を大きく上回り、PASCAL VOC 2012データセットにおいて65.6%のmIoUを達成した。また、インスタンスセグメンテーションにおいてはMask R-CNNと組み合わせ、キーワードアノテーションのみを用いた弱教師ありインスタンスセグメンテーションの可能性を、初めて実証した。