17日前

敵対的スタイル拡張によるドメイン一般化都市シーンセグメンテーション

Zhun Zhong, Yuyang Zhao, Gim Hee Lee, Nicu Sebe
敵対的スタイル拡張によるドメイン一般化都市シーンセグメンテーション
要約

本稿では、セマンティックセグメンテーションにおけるドメイン一般化問題に着目し、ラベル付きの合成(ソース)データのみを用いて、頑健なモデルを学習することを目指す。このモデルは、学習時に見未曾有の実世界(ターゲット)ドメインにおいても良好な性能を発揮することが期待される。本研究では、画像のスタイル変動がモデルの性能に大きな影響を及ぼすことを発見した。また、画像のチャネルごとの平均値および標準偏差によって、スタイル特徴を効果的に表現できることを示した。この知見を踏まえ、我々は新たな敵対的スタイル拡張(AdvStyle)手法を提案する。AdvStyleは、学習中にハードなスタイル変換画像を動的に生成することができ、これによりソースドメインへの過適合を効果的に防止する。具体的には、AdvStyleはスタイル特徴を学習可能なパラメータとして扱い、敵対的学習によってそのパラメータを更新する。学習された敵対的スタイル特徴を用いて、モデルの頑健性を高めるための敵対的画像を構築する。AdvStyleは実装が容易であり、異なるモデルに容易に適用可能である。2つの合成データから実世界データへのセマンティックセグメンテーションベンチマークにおける実験により、AdvStyleが未観測の実世界ドメインにおけるモデル性能を著しく向上させ、最先端の性能を達成できることを示した。さらに、AdvStyleはドメイン一般化画像分類にも応用可能であり、検討されたデータセットにおいて明確な性能向上をもたらすことが確認された。

敵対的スタイル拡張によるドメイン一般化都市シーンセグメンテーション | 最新論文 | HyperAI超神経