17日前

コンテンツ一貫性マッチングを用いたドメイン適応型セマンティックセグメンテーション

{Guoliang Kang, Yunchao Wei, Yi Yang, Wu Liu, Guangrui Li}
コンテンツ一貫性マッチングを用いたドメイン適応型セマンティックセグメンテーション
要約

本稿では、合成されたソースドメインから実際のターゲットドメインへのセマンティックセグメンテーションの適応問題に着目する。従来の多くは、敵対的ドメインアライメントに基づく手法の開発を目的としていたが、本研究では新たな視点、すなわち「コンテンツ一貫性マッチング(Content-Consistent Matching: CCM)」からこの困難なタスクにアプローチする。CCMの目的は、ターゲットドメインにおける実画像と類似した分布を持つ合成画像を特定することであり、そのようなコンテンツ一貫性を持つ合成画像を用いて学習を行うことで、ドメインギャップを自然に軽減することにある。具体的には、CCMを2つの側面から実現する。第一に、セマンティックレイアウトマッチングを採用する。まず、ソースドメインのすべての合成画像を用いて初期のセグメンテーションモデルを学習し、そのモデルを用いてターゲットドメインのラベルなし画像に対して粗い画素レベルのラベルを生成する。実画像と合成画像それぞれに対して得られた粗い/正確なラベルマップを基に、水平方向および垂直方向からセマンティックレイアウト行列を構築し、行列同士のマッチングを実施することで、実画像と類似したセマンティックレイアウトを持つ合成画像を特定する。第二に、予測ラベルの信頼度が高いものを選択し、ターゲットドメインのすべてのクラスについて特徴埋め込みを生成する。その後、前段で得られたレイアウト一貫性を持つ合成画像に対して画素単位のマッチングを実施し、外観一貫性を持つ画素を抽出する。本手法により、セグメンテーションモデルの学習に用いられるのは、コンテンツ一貫性を持つ合成画像のみとなるため、コンテンツ不一致な合成画像に起因するドメインバイアスを効果的に軽減できる。本手法の有効性を、代表的なドメイン適応タスク2つ、すなわちGTA5→CityscapesおよびSYNTHIA→Cityscapesにおいて広範な実験を通じて検証した。実験結果から、ベースライン手法に対して一貫した性能向上が得られ、従来の最先端手法と比較しても優れた性能を示した。