17日前

意味に配慮したドメイン汎化セグメンテーション

Duo Peng, Yinjie Lei, Munawar Hayat, Yulan Guo, Wen Li
意味に配慮したドメイン汎化セグメンテーション
要約

ソースドメインで訓練されたディープモデルは、データ分布が異なる未観測のターゲットドメイン上で評価される際に、一般化能力に欠ける傾向がある。特に、適応に向けたターゲットドメインのサンプルにアクセスできない状況では、この問題は顕著に強調される。本論文では、ターゲットドメインのデータを一切使用せずにドメイン不変なセマンティックセグメンテーションモデルを学習する「ドメイン一般化セマンティックセグメンテーション」に取り組む。従来のアプローチは、データを統一された分布に標準化することで対処している。しかし、本研究では、このような標準化はグローバルな正規化を促進する一方で、明確なセグメンテーション境界を獲得するのに十分な特徴の判別力が欠けていると指摘する。カテゴリ間の分離性を高めつつドメイン不変性を強化するため、本研究では2つの新規モジュールを含むフレームワークを提案する。すなわち、セマンティック認識正規化(Semantic-Aware Normalization: SAN)とセマンティック認識ホワイトニング(Semantic-Aware Whitening: SAW)である。具体的には、SANは異なる画像スタイルから得られる特徴間におけるカテゴリレベルの中心位置の整合性を重視し、SAWは既に中心位置が整合された特徴に対して分布レベルでの整合性を強制する。SANとSAWの協働により、カテゴリ内での特徴の凝縮性(intra-category compactness)とカテゴリ間の分離性(inter-category separability)の両方を促進する。本手法の有効性は、広く用いられるデータセット(GTAV、SYNTHIA、Cityscapes、Mapillary、BDDS)を用いた広範な実験により検証された。複数のバックボーンネットワークにおいて、既存の最先端手法と比較して顕著な性能向上が確認された。実装コードは以下のURLから公開されている:https://github.com/leolyj/SAN-SAW