適応による汎化：ドメイン一般化セマンティックセグメンテーションのための拡散ベースドメイン拡張

セマンティックセグメンテーションなどのモデルを、学習データとは大きく異なる画像に適用すると、性能が著しく低下する。ドメイン適応（domain adaptation）手法はこの問題に対処しようとするが、ターゲットドメインのサンプルが必要となる。しかし、様々な理由により、ターゲットドメインの実データを取得することが常に可能とは限らない。そのような状況下で、ターゲットデータを一切必要としないドメイン一般化（domain generalization）手法が有効である。本研究では、新しい拡散ベースのドメイン拡張手法（Diffusion-based Domain Extension, DIDEX）を提案し、拡散モデルを用いて多様なテキストプロンプトを基に疑似ターゲットドメインの画像を生成する。従来の手法と異なり、本手法では生成画像のスタイルやコンテンツを制御可能であり、高い多様性を実現できる。第二段階として、この疑似ターゲットドメインに適応させることで、一般化性能に優れたモデルを学習する。実データを一切使用せずに、さまざまなデータセットおよびアーキテクチャにおいて、従来手法を大きく上回る性能を達成した。GTA5からの一般化においては、平均でmIoUが3.8%絶対値向上し、SYNTHIAでは11.8%絶対値の向上を達成した。これにより、これらのベンチマークにおける一般化性能に大きな飛躍が見られた。コードは以下のURLで公開されている：https://github.com/JNiemeijer/DIDEX