17日前
CADG:ドメイン一般化を目的としたクロスアテンションベースのモデル
Cheng Dai, Yingqiao Lin, Fan Li, Xiyao Li, Donglin Xie

要約
ドメイン一般化(Domain Generalization, DG)タスクにおいて、モデルはソースドメインからのみ訓練データを使用して、未知のターゲットドメインにおける一般化性能を達成することを目指すが、このアプローチは分布シフト(distribution shift)問題に直面する。そのため、複数のドメインで共通して利用可能な表現(common representation)に注目する分類器を学習することが重要である。このような表現を学習することで、未知のターゲットドメインにおいても高い性能を達成できる分類器の構築が可能となる。近年、クロスモーダルタスクにおいてクロスアテンション(cross attention)が優れた成果を上げたことに着目し、異なる分布から得られる特徴間の整合性を高めるためにクロスアテンションが強力なメカニズムであることを確認した。そこで、この特性を活かしたモデル「CADG(Cross Attention for Domain Generalization)」を提案する。本モデルではクロスアテンションが中心的な役割を果たし、ドメイン間の分布シフト問題を効果的に緩和する。この設計により、複数ドメインに適用可能な柔軟な分類器が実現され、未知のドメインに対しても良好な一般化性能を発揮する。実験の結果、提案手法は従来の単一モデルと比較して、さまざまなドメイン一般化ベンチマークにおいて最先端の性能を達成し、一部のアンサンブルベース手法を上回る結果も得られた。