SePiCo: セマンティックガイダンス付きピクセルコントラストによるドメイン適応セマンティックセグメンテーション

ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインで学習された監督モデルを活用して、ラベルのないターゲットドメインでの満足のいく密集予測を達成することを目指しています。本研究では、Semantic-Guided Pixel Contrast（SePiCo）と呼ばれる新しい一段階適応フレームワークを提案します。このフレームワークは、各ピクセルのセマンティック概念を強調することで、ドメイン間でのクラス識別性とクラスバランスの高いピクセル表現の学習を促進し、最終的に自己訓練手法の性能向上に寄与します。具体的には、適切なセマンティック概念を探求するために、まずカテゴリー中心点に基づくピクセルコントラスト（centroid-aware pixel contrast）について検討しました。これは、ソースドメイン全体または単一のソース画像のカテゴリー中心点を使用して識別的な特徴量の学習をガイドする方法です。しかし、セマンティック概念におけるカテゴリー多様性が不足している可能性があるため、次に分布に基づく視点を取り入れて十分な数のインスタンスを含む分布認識型ピクセルコントラスト（distribution-aware pixel contrast）を開拓しました。ここでは、ラベル付きソースデータの統計から各セマンティックカテゴリの真の分布を近似します。さらに、このような最適化目標は暗黙的に無限数の類似／非類似ペアを含むことで閉形式の上限値を求めることができ、計算効率が高くなります。広範囲にわたる実験結果は、SePiCoが訓練の安定化に貢献するとともに識別的な表現を得られることを示しており、合成画像から実際の画像への適応や昼間から夜間への適応といったシナリオにおいて大幅な進歩を遂げています。