クラスピーク応答を使用した弱教師付きインスタンスセグメンテーション

画像レベルのラベルを使用した弱教師付きインスタンスセグメンテーションは、高価なピクセルレベルのマスクに代わる方法として未開拓の領域である。本論文では、クラスピーク応答を活用して分類ネットワークがインスタンスマスク抽出を可能にするという課題に取り組む。画像ラベルのみの教師あり学習により、完全畳み込み型CNN分類器は各画像位置での分類信頼度を指定するクラス応答マップを生成できる。我々は、クラス応答マップ内の局所最大値（ピーク）が通常、各インスタンス内にある強い視覚的特徴に対応することを観察した。この観察に基づいて、まずクラス応答マップからピークが現れるように刺激するプロセスを設計した。現れたピークは逆伝播され、各オブジェクトインスタンスの情報量が高い領域（例：インスタンス境界）に効果的にマッピングされる。上記のクラスピーク応答から生成されたマップをピーク応答マップ（Peak Response Maps: PRMs）と呼ぶ。PRMsは詳細なインスタンスレベル表現を提供し、既存の手法を使用してもインスタンスマスクを抽出することが可能となる。我々が知る限り、本研究では初めて挑戦的な画像レベル教師ありインスタンスセグメンテーションタスクに関する結果を報告している。広範な実験により、提案手法が弱教師付きポイントワイズローカライゼーションおよびセマンティックセグメンテーション性能も向上させることを示しており、PASCAL VOC 2012やMS COCOなどの主要ベンチマークで最先端の結果を得ていることが確認された。