ProCST: Progressive Cyclic Style-Transfer を使用したセマンティックセグメンテーションの向上

合成データを使用して、実世界のデータで良好な性能を達成するニューラルネットワークの学習を行うことは重要な課題であり、高価なデータアノテーションの必要性を軽減できます。しかし、合成データと実世界データにはドメインギャップが存在します。このギャップを縮める技術、いわゆるドメイン適応は、近年広く研究されてきました。ソース（合成）データとターゲット（実世界）データ間での直接的な適応を行うことで、このドメインギャップを閉じるのは困難です。本研究では、画像データにおけるドメイン適応技術の向上を目指す新しい二段階フレームワークを提案します。第一段階では、マルチスケールニューラルネットワークを段階的に訓練し、ソースドメインからターゲットドメインへの画像変換を行います。この新しく変換されたデータを「Target内Source」（SiT）と呼びます。次に、生成されたSiTデータを任意の標準的なUDA手法の入力として挿入します。この新しいデータは、望ましいターゲットドメインとの間でドメインギャップが小さくなっており、適用されるUDA手法がさらにギャップを閉じることを容易にします。我々は、他の主要なUDAおよび画像対画像変換技術と比較することで、本方法の有効性を強調しています。特に、SiTジェネレータとして使用した場合に焦点を当てています。さらに、セマンティックセグメンテーション向けの三つの最先端UDA手法（HRDA, DAFormer, ProDA）を使用して、GTA5からCityscapesへおよびSynthiaからCityscapesへの二つのUDAタスクにおいて本フレームワークの改善を示しています。