意味セグメンテーションにおける条件間ロバスト性のための対照モデル適応

標準的な非教師ありドメイン適応（unsupervised domain adaptation）手法は、ラベル付きソースデータとラベルなしターゲットデータを併用して、モデルをソースドメインからターゲットドメインに適応させる。一方、モデル適応（model adaptation）では、ラベル付きソースデータへのアクセスが制限され、利用可能なのはソースドメインで学習されたモデルとラベルなしのターゲットデータのみである。本研究では、セマンティックセグメンテーションにおける「正常状態から悪化状態へのモデル適応」を対象とし、ターゲットドメインにおいて画像レベルの対応関係が利用可能であることを前提とする。ターゲットデータセットは、GPS位置が一致する地点で撮影された正常状態と悪化状態の街並み画像のペア（ラベルなし）で構成される。本研究で提案する手法CMA（Condition-invariant Matching Adaptation）は、このような画像ペアを活用し、対照学習（contrastive learning）によって状態不変特徴（condition-invariant features）を学習する。具体的には、CMAは埋め込み空間における特徴が、入力画像の撮影状態（正常／悪化）ではなく、状態に依存しない意味的コンテンツに基づいてグループ化されるように促進する。正確なクロスドメインセマンティック対応を実現するため、正常状態の画像を悪化状態の画像の視点にワープ（変形）し、ワープ信頼度スコアを用いて堅牢な集約特徴を生成する。このアプローチにより、ACDCやDark Zurichなどの正常状態から悪化状態への適応ベンチマークにおいて、モデル適応の分野で最先端のセマンティックセグメンテーション性能を達成した。さらに、新たに収集した悪化状態への一般化ベンチマークでもCMAを評価した結果、ソースデータへのアクセスが不可能なという不利な条件にもかかわらず、標準的な非教師ありドメイン適応手法と比較して優れた結果が得られた。コードは以下のURLで公開されている：https://github.com/brdav/cma。