ドメイン不変相互関係伝達を用いたクロスドメインセマンティックセグメンテーション

近年、セマンティックセグメンテーションモデルの学習に写真級の合成データを活用する研究が注目を集めている。しかし、合成画像と実画像のドメイン間には明確なギャップが存在するため、合成データで学習したモデルをそのまま実世界のシナリオに適用すると、性能が著しく低下する問題が生じる。本論文では、このような問題を解決するため、ピボット相互作用転送（Pivot Interaction Transfer; PIT）と呼ばれる新たなドメイン適応手法を提案する。本手法の核心は、合成ドメインと実世界ドメインの両者に共通する知識である「ピボット情報」を構築し、それを橋渡しとして、セマンティックセグメンテーションモデルの合成ドメインから実世界ドメインへの適応を促進することにある。具体的には、ターゲット画像の画像レベルのカテゴリ情報をまず推定し、その情報をもとにピクセルレベルのセマンティック情報の転送を促進する。このアプローチの根拠は、画像レベルのカテゴリ情報とピクセルレベルのセマンティック情報との相互関係がドメイン間で不変であるという仮定に基づく。これを実現するために、画像レベルとピクセルレベルの両方の情報を同時に整列させる新しい多段階領域拡張メカニズムを提案する。GTAVおよびSYNTHIAからCityscapesへのドメイン適応を対象とした包括的な実験により、本手法の優れた性能が明確に示された。