物と事のための差別的扱い：意味分割のためのシンプルな非教師ありドメイン適応手法

本研究では、ソースドメイン（合成データ）とターゲットドメイン（実データ）間のドメインシフトを緩和することにより、セマンティックセグメンテーションにおける非教師ありドメイン適応（unsupervised domain adaptation）の問題に取り組む。最先端のアプローチは、セマンティックレベルでのアライメントを実施することがドメインシフト問題の軽減に有効であることを示している。本研究では、異なるドメインの画像間で「スタッフ（stuff）」カテゴリが一般的に類似した外観を示す一方で、「シングル（things）」カテゴリ（すなわちオブジェクトインスタンス）はより大きな差異を示すという観察に基づき、スタッフ領域とシングル領域に対して異なる戦略を用いたセマンティックレベルアライメントの向上を提案する。具体的には、1）スタッフカテゴリについては、各クラスごとの特徴表現を生成し、ターゲットドメインからソースドメインへとアライメント操作を実施する。2）シングルカテゴリについては、各インスタンスごとに特徴表現を生成し、ターゲットドメインのインスタンスがソースドメイン内で最も類似するインスタンスとアライメントするように促進する。このアプローチにより、シングルカテゴリ内の個体差も考慮され、過剰なアライメント（over-alignment）の問題が緩和される。さらに、本研究では現在用いられている敵対的損失（adversarial loss）が分布差異を最小化する際にしばしば不安定になる理由を明らかにし、ソースドメインとターゲットドメイン間で最も類似したスタッフおよびインスタンス特徴を最小化することで、この問題を緩和できることを示す。本手法は、GTA5→CityscapesおよびSYNTHIA→Cityscapesという2つの非教師ありドメイン適応タスクにおいて広範な実験を実施し、新たな最先端のセグメンテーション精度を達成した。