Box2Mask: ボックス監督下のレベルセット進化によるインスタンスセグメンテーション

完全監督法と異なり、ピクセル単位のマスクラベルを使用せず、ボックス注釈を用いたインスタンスセグメンテーションは、最近ますます研究者の注目を集めています。本論文では、新たな一発学習型インスタンスセグメンテーション手法であるBox2Maskを提案します。この手法は、古典的なレベルセット進化モデルを深層ニューラルネットワークの学習に統合し、バウンディングボックスの監督のみで正確なマスク予測を実現します。具体的には、入力画像とその深層特徴量が用いられてレベルセット曲線が暗黙的に進化し、ピクセルアフィニティカーネルに基づく局所一貫性モジュールが局所コンテキストと空間関係を抽出するために使用されます。CNNベースおよびトランスフォーマーベースの2種類の単段階フレームワークを開発し、これらはインスタンス認識デコーダー、ボックスレベルのマッチング割り当て、およびレベルセット進化という3つの主要な構成要素から成ります。レベルセットエネルギー関数を最小化することで、各インスタンスのマスクマップはそのバウンディングボックス注釈内で反復的に最適化されます。5つの困難なテストベッド（一般的なシーン、リモートセンシング、医療画像、シーンテキスト画像）での実験結果は、提案したBox2Mask手法がボックス監督型インスタンスセグメンテーションにおいて優れた性能を示すことを証明しています。特にSwin-Transformer大規模バックボーンを使用した場合、Box2MaskはCOCOデータセットで42.4%のマスクAPを得ており、最近開発された完全マスク監督型手法と同等の性能を達成しています。コードは以下のURLで公開されています：https://github.com/LiWentomng/boxlevelset.