プロトタイプ疑似ラベルノイズ除去とターゲット構造学習を用いたドメイン適応型セマンティックセグメンテーション

自己学習は、ドメイン適応セグメンテーションにおいて競争的なアプローチであり、ターゲットドメインにおける擬似ラベルを用いてネットワークを学習する手法である。しかし、必然的に擬似ラベルにはノイズが含まれており、ソースドメインとターゲットドメインの乖離により、ターゲット特徴量は分散しやすくなる。本論文では、クラスの特徴量重心である代表的プロトタイプを活用することで、この2つの課題に対処する。特に、単なるプロトタイプにとどまらず、プロトタイプからの特徴距離を用いることで、より豊かな情報量を得ることを実現している。具体的には、この特徴距離を用いて擬似ラベルの信頼度を推定し、学習過程におけるオンライン補正を促進する。同時に、同一ターゲット画像の異なる視点から得られる相対的な特徴距離に基づいてプロトタイプ割り当てを統一することで、ターゲット特徴空間をより凝縮した形に整える。さらに、既に学習済みの自己教師付き事前学習モデルに知識蒸留を行うことで、性能向上がさらに促進されることを明らかにした。本手法は、最先端手法と比較して顕著な性能優位性を示している。コードは公開予定である。