自己監督型深度推定を用いたドメイン適応型セマンティックセグメンテーション

セマンティックセグメンテーションにおけるドメイン適応は、ソースドメインとターゲットドメイン間の分布シフトが生じた状況下でモデルの性能を向上させることを目的としている。補助タスク（例えば深度推定など）からの教師信号を活用することで、多くの視覚タスクが相互に関連していることから、この分布シフトを緩和する可能性がある。しかしながら、このような教師信号は常に利用可能とは限らない。本研究では、両ドメインで利用可能な自己教師型深度推定のガイダンスを活用し、ドメイン間のギャップを埋めることを目的とする。一方で、ターゲットドメインにおける深度推定の助けを借りて、タスク特徴の相関関係を明示的に学習することで、ターゲット領域のセマンティック予測を強化する手法を提案する。他方で、ソースドメインとターゲットドメインの深度デコーダから得られる深度予測の乖離を用いて、ピクセル単位での適応の難易度を近似する。この深度から推定された適応の難易度を活用し、ターゲット領域のセマンティックセグメンテーションの擬似ラベルを精緻化する。提案手法は既存のセグメンテーションフレームワークに容易に統合可能である。SYNTHIA-to-CityscapesおよびGTA-to-Cityscapesというベンチマークタスクにおいて、それぞれ55.0%および56.6%という新たな最先端性能を達成し、本手法の有効性を実証した。コードは以下のURLで公開されている：\url{https://qin.ee/corda}。