対照学習と自己学習を用いたセマンティックセグメンテーションにおける教師なしドメイン適応

深層畳み込みニューラルネットワークは、意味的セグメンテーションにおいて、従来の最良の成果を大幅に向上させた。しかし、最新のアーキテクチャですら、異なるドメインから抽出されたテストデータセットに対して十分な一般化能力を有していない。未知のドメイン用に高コストなラベル付き学習データをアノテートするのを回避するため、非教師ありドメイン適応（Unsupervised Domain Adaptation: UDA）は、ラベル付きのソースドメインからラベルなしのターゲットドメインへ効率的な知識移行を試みている。従来の研究は、敵対的学習や自己学習を用いて、両ドメイン間の乖離を最小化することに主眼を置いてきた。敵対的学習は、グローバルな分布間の乖離を最小化するため、正しい意味的カテゴリの一致を保証できない可能性がある。一方、自己学習では、信頼性の高い擬似ラベルをどのように提供するかという問題が生じる。本研究では、ドメイン間で正しい意味的カテゴリを一致させるために、カテゴリごとの重心（centroids）をドメイン間で適応するコントラスト学習アプローチを提案する。さらに、メモリ効率の高い時系列アンサンブル（temporal ensemble）を用いて一貫性があり信頼性の高い擬似ラベルを生成する自己学習を組み合わせることで、本手法を拡張した。コントラスト学習と自己学習（CLST）の両者が時系列アンサンブルを通じて知識移行を可能にする一方で、その組み合わせが相乗的な構造を形成することが示された。本手法は、GTA5 → Cityscapes および SYNTHIA → Cityscapes の2つのドメイン適応ベンチマークで検証され、最先端の手法と比較して優れたか、同等の性能を達成した。コードは公開予定である。