CADG: 도메인 일반화를 위한 크로스 어텐션 기반 모델

도메인 일반화(Domain Generalization, DG) 작업에서는 타겟 도메인에 대한 사전 지식 없이 소스 도메인의 학습 데이터만을 사용하여 모델을 훈련하며, 이 과정에서 분포 차이(distribution shift) 문제에 직면하게 된다. 따라서 다수의 도메인에 적용 가능한 공통적인 표현(common representation)에 주목할 수 있도록 분류기를 학습하는 것이 중요하다. 이를 통해 미지의 타겟 도메인에서도 높은 성능을 달성할 수 있다. 다양한 다중 모달 작업에서의 교차 주의력(cross attention)의 성공 사례를 바탕으로, 우리는 서로 다른 분포에서 유래한 특징 간의 정렬을 가능하게 하는 강력한 메커니즘으로서 교차 주의력의 효과를 확인하였다. 이에 따라 분포 차이 문제를 해결하기 위해 교차 주의력이 핵심 역할을 하는 CADG(Cross Attention for Domain Generalization)라는 모델을 설계하였다. 이러한 설계 덕분에 분류기는 여러 도메인에 일반화되어 적용 가능하며, 미지의 도메인에서도 우수한 일반화 성능을 발휘할 수 있다. 실험 결과, 제안하는 방법은 다양한 도메인 일반화 벤치마크에서 기존의 단일 모델 대비 최상의 성능을 달성하였으며, 일부 앙상블 기반 방법보다도 더 뛰어난 성능을 보였다.