要約
我々は、カテゴリレベルのセグメンテーションを基盤とするインスタンスレベルの画像セグメンテーション手法を提案します。具体的には、各ピクセルに対して、その対応するインスタンスのバウンディングボックスを深層完全畳み込み回帰ネットワークを使用して予測します。これにより、まずインスタンスのバウンディングボックスを予測し、その後にセグメンテーションを行うという現在の最先端のインスタンスセグメンテーション手法とは異なるパイプラインが実現されます。我々は、最先端の意味的セグメンテーションモデルの強みを活用することで、提案手法が検出後にセグメンテーションを行う手法と同等かそれ以上の結果を得られることを示しています。本研究では以下の貢献を行います。(i) 第一に、単純でありながら効果的な意味的インスタンスセグメンテーション手法を提案します。(ii) 第二に、訓練中にオンラインでブートストラップを行う方法を提案します。これは意味的カテゴリセグメンテーションとインスタンスレベルのセグメンテーション双方において良好な性能を得るために極めて重要です。(iii) 意味的カテゴリセグメンテーションの性能が我々のアプローチにおける第二段階であるインスタンスレベルのセグメンテーションに大きな影響を与えることから、完全畳み込み残差ネットワークを訓練して最良の意味的カテゴリセグメンテーション精度を得ました。PASCAL VOC 2012データセットにおいて、現在最高の平均交差率（mean intersection-over-union score）79.1% を達成しました。(iv) また、インスタンスレベルのセグメンテーションにおいても最先端の結果を得ています。