ドメイン汎化セマンティックセグメンテーションのための協調型ファウンデーションモデル

ドメイン一般化セマンティックセグメンテーション（DGSS）は、ラベル付きのソースドメイン上でモデルを学習させ、推論時に未観測のドメインへ一般化することを目的とする。従来のDGSS手法は、ドメインランダム化（DR）を用いて堅牢な特徴量を獲得するが、このアプローチには限界があり、スタイルの多様性には対応可能だが、コンテンツの多様性には対応できない。本研究では、DGSSに対して直交的なアプローチを採用し、ドメイン一般化セマンティックセグメンテーションのための協調的基礎モデル群（CoLlaborative FOUndation models for Domain Generalized Semantic Segmentation, CLOUDS）の構築を提案する。具体的には、CLOUDSは以下の3種類のモデルを統合するフレームワークである：（i）堅牢な特徴表現を提供するCLIPバックボーン、（ii）生成モデルを用いてコンテンツを多様化し、可能なターゲット分布のさまざまなモードをカバーする、（iii）セグメンテーションモデルの予測を反復的に精緻化するSegment Anything Model（SAM）。広範な実験の結果、本手法は合成データから実データへのドメイン一般化、および気象条件の変化に強い適応性を示し、既存手法と比較して平均mIoUにおいてそれぞれ5.6%および6.7%の優位性を示した。コードは以下のURLから公開されている：https://github.com/yasserben/CLOUDS