コンテキスト認識型ドメイン適応によるセマンティックセグメンテーション

本稿では、セマンティックセグメンテーションにおける非教師付きドメイン適応（unsupervised domain adaptation）の問題に着目する。この分野には主に二つの課題が存在する。すなわち、どの情報を、どのようにして二つのドメイン間で転送するかである。従来の手法は、主に敵対的学習を用いてドメイン不変特徴（転送すべき内容）を適応させる（転送の方法）ことに注力している。しかし、セマンティックセグメンテーションにおいては、文脈的依存性（context dependency）が極めて重要であり、その転送可能性についてはまだ十分に理解されていない。さらに、二つのドメイン間で文脈情報をどのように転送するかという点は、未だ解明されていない。このような背景から、我々は自己注意機構（self-attention）に基づくクロスアテンション機構を提案し、二つのドメイン間の文脈的依存関係を捉え、転送可能な文脈情報を適応する。この目的を達成するため、空間的視点とチャネル的視点の両方から文脈依存関係を適応するための、二つのクロスドメインアテンションモジュールを設計した。具体的には、空間アテンションモジュールは、ソース画像とターゲット画像の各位置間の局所的特徴依存関係を捉え、チャネルアテンションモジュールは、二つのドメイン間の各チャネルマップペア間の意味的依存関係をモデル化する。文脈依存関係を適応するため、さらに二つのドメインから文脈情報を選択的に集約する機構を導入した。提案手法の従来の最先端手法に対する優位性は、「GTA5 to Cityscapes」と「SYNTHIA to Cityscapes」という二つのベンチマーク設定において、実証的に確認された。