EmbedMask: 1段階型インスタンスセグメンテーションにおける埋め込み結合

現在のインスタンスセグメンテーション手法は、まずセグメンテーションを行い、その後クラスタリングを行う「セグメンテーションベース」の手法と、まずインスタンスを検出し、リプール（repooling）を用いて各提案に対してマスクを予測する「プロポーザルベース」の手法に大別される。本研究では、これらの両手法の長所を活かして統合するワンステージ手法、EmbedMaskを提案する。プロポーザルベースの手法と同様に、EmbedMaskは検出モデルを基盤として構築されており、検出性能に優れている。一方、ピクセルおよびプロポーザル用の追加埋め込みモジュールを導入し、同じインスタンスに属するピクセルの埋め込みは、そのインスタンスに対応するプロポーザルの埋め込みによってガイドされる。この埋め込み結合プロセスにより、埋め込みが類似するピクセルは、対応するプロポーザルのマスクに割り当てられる。ピクセルレベルでのクラスタリングにより、リプールによる細部情報の損失を回避し、高解像度のマスクを生成可能となる。また、プロポーザル埋め込みの存在により、クラスタリング手順が簡素化され、より高速かつ高い性能を実現することができる。特別な追加機構を用いずに、EmbedMaskは代表的な二段階手法であるMask R-CNNと同等の性能を達成し、さらに高速かつより詳細なマスクを生成することが可能である。コードはgithub.com/yinghdb/EmbedMaskにて公開されている。