微細な背景表現を用いた弱い教師ありセマンティックセグメンテーション

画像レベルのラベルから信頼性のある疑似マスクを生成することは、空間情報の欠如により弱い教師ありセマンティックセグメンテーション（WSSS）タスクにおいて困難です。一般的なクラス活性化マップ（CAM）ベースの解決策は、前景（FG）オブジェクトと疑わしい背景（BG）ピクセル（共発生と呼ばれるもの）を区別し、全体的なオブジェクト領域を学習する上で挑戦に直面しています。本論文では、多様なBGセマンティクスを発見し、共発生問題に対処するための単純な細かい背景表現（FBR）手法を提案します。BG表現のためにクラスプロトタイプやピクセルレベルの特徴を使用することを放棄し、代わりに新しい原始要素であるネガティブ領域_of_interest_（NROI）を開発しました。これにより、細かいBGセマンティック情報を捉え、混乱するBGピクセルを区別するためにピクセル対NROIコントラストを行います。また、FGネガティブをオンザフライで採掘するアクティブサンプリング戦略も提示しており、効率的な前景内コントラスト学習によって全体のオブジェクト領域を活性化させることができます。設計の単純さと使用の便利さにより、提案手法は様々なモデルにシームレスに組み込むことができ、ベンチマーク間での異なるWSSS設定下で新たな最先端結果を達成しています。画像レベル（I）ラベルのみを使用した教師あり学習において、Pascal Vocテストセットでは73.2 mIoU、MS COCOテストセットでは45.6 mIoUのセグメンテーション結果を得ています。さらに、サリエンシーマップを追加の教師あり信号（I+S）として組み込むことで、Pascal Vocテストセットでは74.9 mIoUの結果を得ています。同時に、提案されたFBRアプローチは弱い教師ありインスタンスセグメンテーション（WSIS）タスクにおいて有意な性能向上を示しており、その堅牢性と異なるドメインにおける強力な汎化能力が確認されています。