意味からインスタンスセグメンテーションへ：意味知識転送と自己改良を用いた弱教師付きインスタンスセグメンテーション

弱教師付きインスタンスセグメンテーション（WSIS）は、弱教師付きセマンティックセグメンテーション（WSSS）よりも難しい課題とされてきました。WSSSと比較して、WSISではインスタンス単位での位置特定が求められますが、これは画像レベルのラベルから抽出するのが困難です。この問題に対処するために、多くのWSIS手法では事前学習にインスタンスまたはオブジェクトレベルのラベルを必要とする既存の提案技術を使用しています。これにより、完全に画像レベルで教師あり設定の基本的な定義から逸脱します。本論文では、2つの革新的なコンポーネントを含む新しいアプローチを提案します。まず、セマンティック知識転送を提案し、WSSSの知識をWSISに転送することで擬似インスタンスラベルを取得します。これにより、既存の提案技術の必要性が排除されます。次に、自己改良手法を提案し、自己教師ありスキームで擬似インスタンスラベルを改良し、オンラインで改良されたラベルを使用して学習を行う方法です。ここで我々は、擬似インスタンスラベルにおいて背景クラスとして分類される欠落したインスタンスによって引き起こされる誤った現象であるセマンティックドリフトを見つけました。このセマンティックドリフトは訓練中に背景とインスタンスとの間で混乱を引き起こし、結果的にセグメンテーション性能が低下します。我々はこの問題をセマンティックドリフト問題と呼び、提案する自己改良手法がこの問題を解消することを示します。PASCAL VOC 2012およびMS COCOにおける広範な実験により、我々のアプローチの有効性が示され、既存の提案技術なしで著しい性能向上が達成されました。コードは https://github.com/clovaai/BESTIE で公開されています。