双方向自己訓練法による複数の非等方性プロトタイプを用いたドメイン適応型意味分割

ドメイン適応セグメンテーションの分野で活発な傾向が見られ、これはターゲットドメインの高品質な疑似ラベルを生成し、それらを使ってセグメンテータを再学習することを目指しています。この自己訓練パラダイムのもとで、競合するいくつかの手法は潜在空間情報を利用しようと試みており、これにより意味クラスの特徴重心（またはプロトタイプ）を確立し、これらの重心からの距離によって疑似ラベル候補を決定しています。本論文では、潜在空間にはさらに利用できる情報が含まれていると主張し、その活用に一歩踏み出ることを提案します。まず、従来の手法が主にソースドメインのプロトタイプのみを使用してターゲットの疑似ラベルを決定するのに対し、我々は双方向的にターゲットドメインのプロトタイプを生成することで、適応に難しくなる可能性があるソース特徴や干渉を受けやすいソース特徴を低下させます。次に、既存の試みは各カテゴリを単一かつ等方的なプロトタイプとしてモデル化する一方で、特徴分布の変動性を見落としているため、類似したカテゴリ間での混乱につながる可能性があります。この問題に対処するために、ガウス混合モデルを通じて各カテゴリを複数かつ異方的なプロトタイプで表現することを提案します。これにより、ソースドメインの実際の分布に適合するとともに、確率密度に基づいてターゲットサンプルの尤度を推定することができます。我々はGTA5→CityscapesおよびSynthia→Cityscapesタスクに対して提案手法を適用し、「平均IoU」においてそれぞれ61.2と62.8という結果を得ました。これは他の競合する自己訓練手法よりも大幅に優れていることを示しています。「トラック」と「バス」などのカテゴリ間での混乱が深刻な場合でも、我々の手法はそれぞれ56.4と68.8という結果を得ており、設計の有効性がさらに証明されています。