拡散特徴を活用したドメインギャップ解消によるセマンティックセグメンテーション

事前学習された拡散モデルは、カスタマイズ可能なプロンプトを用いて多様なシナリオにおいて画像合成に優れた性能を発揮しており、普遍的な特徴を効果的に捉える能力を示している。このような特性に着目し、本研究では拡散モデルに内在するimplicitな知識を活用して、クロスドメインセマンティックセグメンテーションの課題に取り組む手法を検討する。本論文では、拡散モデルの特徴を効率的に活用するためのサンプリングおよび特徴融合技術を活用するアプローチを提案する。特に、拡散プロセスを通じて有効なセマンティック表現を抽出・統合するバックボーンとして、DIffusion Feature Fusion（DIFF）を提案する。テキストから画像生成する能力の強みを活かし、その背後にある事後知識をimplicitに学習できる新たな学習フレームワークを導入した。ドメイン一般化セマンティックセグメンテーションの文脈において厳密な評価を行った結果、本手法は異なるドメイン間の乖離を効果的に軽減し、従来の手法を上回る性能を達成し、最先端（SOTA）のベンチマークを更新した。