クラス別メモリバンクからのピクセルレベルコントラスト学習を用いた半教師付きセマンティックセグメンテーション

本研究では、半教師ありセマンティックセグメンテーションのための新しいアプローチを提案する。このアプローチの核となる要素は、データセット全体にわたって同一クラスのサンプルに対して類似したピクセルレベルの特徴表現をセグメンテーションネットワークが生成するよう強制する対照学習モジュールである。これを実現するため、ラベル付きデータから得られる関連性が高く品質の高い特徴ベクトルを継続的に更新するメモリバンクを維持している。エンドツーエンドの訓練において、ラベル付きおよびラベルなしデータからの特徴量が、メモリバンク内の同一クラスサンプルと類似するように最適化される。本手法は、代表的な公開ベンチマークにおいて、半教師ありセマンティックセグメンテーションおよび半教師ありドメイン適応の現在の最先端手法を上回り、特にラベル付きデータが限られた困難なシナリオにおいて、より顕著な性能向上を達成している。https://github.com/Shathe/SemiSeg-Contrastive