8日前

UniDAformer:階層的マスク補正を用いた統一的ドメイン適応パノプティックセグメンテーションTransformer

Jingyi Zhang, Jiaxing Huang, Xiaoqin Zhang, Shijian Lu
UniDAformer:階層的マスク補正を用いた統一的ドメイン適応パノプティックセグメンテーションTransformer
要約

ドメイン適応型パンセグメンテーションは、一つまたは複数の関連するソースドメインにおける既存のアノテーションデータを活用することで、データアノテーションの課題を軽減することを目的としている。しかし、従来の研究ではインスタンスセグメンテーションとセマンティックセグメンテーションにそれぞれ別々のネットワークを用いるため、ネットワークパラメータが過剰に増加し、トレーニングおよび推論プロセスが複雑かつ計算コストが高くなるという問題がある。本研究では、単一のネットワーク内でドメイン適応型インスタンスセグメンテーションとセマンティックセグメンテーションを同時に実現可能な、シンプルながら効果的な統合型ドメイン適応パンセグメンテーションTransformer「UniDAformer」を提案する。UniDAformerは、オンライン自己学習を用いて領域、スーパーピクセル、ピクセルレベルでの不正確な予測を修正する「階層的マスク補正(Hierarchical Mask Calibration: HMC)」を導入している。本手法には以下の3つの特徴がある:1)統一的なドメイン適応型パンセグメンテーション適応を実現可能;2)誤検出を低減し、ドメイン適応型パンセグメンテーションの性能を効果的に向上;3)エンドツーエンドで学習可能であり、トレーニングおよび推論のパイプラインが大幅に簡素化される。複数の公開ベンチマークを用いた広範な実験により、UniDAformerが最先端手法と比較して優れたドメイン適応型パンセグメンテーション性能を達成することが確認された。