8日前

EDAPS:拡張されたドメイン適応型パノプティックセグメンテーション

Suman Saha, Lukas Hoyer, Anton Obukhov, Dengxin Dai, Luc Van Gool
EDAPS:拡張されたドメイン適応型パノプティックセグメンテーション
要約

自律産業の台頭に伴い、視覚認識スタックにおけるドメイン適応は、コスト削減の可能性に注目され、重要な研究課題となっている。これまでの多くの先行研究は、合成データから実世界データへのドメイン適応におけるセマンティックセグメンテーションに注力してきた。しかし、認識スタックの重要な出力の一つであるパノプティックセグメンテーションは、ドメイン適応分野においてほとんど無視されてきた。そこで本研究では、他の分野で良好な性能を示したドメイン適応戦略を再検討し、それをパノプティックセグメンテーションに適応させることで、その効果的な拡張が可能であることを示した。さらに、パノプティックネットワークの設計に着目し、ドメイン適応型パノプティックセグメンテーションを専用に設計した新たなアーキテクチャ(EDAPS)を提案する。EDAPSは、セマンティック特徴とインスタンス特徴の同時適応を促進するため、共有かつドメインロバストなトランスフォーマーエンコーダを採用している一方で、ドメイン適応型セマンティックセグメンテーションとインスタンスセグメンテーションそれぞれの要件に応じて最適化されたタスク固有のデコーダを用いる。その結果、困難なパノプティックベンチマークにおいて顕著な性能ギャップの縮小が達成された。EDAPSは、SYNTHIAからCityscapesへのドメイン適応において、従来の最先端技術を20%以上、さらに挑戦性の高いSYNTHIAからMapillary Vistasへの設定では72%も上回る性能を実現した。実装コードは以下のGitHubリポジトリで公開されている:https://github.com/susaha/edaps。