CDTrans: 비지도 도메인 적응을 위한 교차 도메인 트랜스포머

비지도 도메인 적응(UDA, Unsupervised Domain Adaptation)은 레이블이 부여된 소스 도메인에서 학습된 지식을 레이블이 없는 다른 타겟 도메인으로 전이하는 것을 목표로 한다. 기존의 대부분의 UDA 방법들은 컨볼루션 신경망(CNN) 기반 프레임워크를 활용하여 도메인 수준 또는 카테고리 수준에서 도메인 불변 특징 표현을 학습하는 데 초점을 맞추고 있다. 카테고리 수준 기반 UDA의 핵심 과제 중 하나는 타겟 도메인 샘플에 대한 의사 레이블(pseudo-label) 생성인데, 이러한 의사 레이블은 일반적으로 노이즈가 많아 정확한 도메인 정렬을 어렵게 하며, 결과적으로 UDA 성능에 필연적으로 악영향을 미친다. 다양한 작업에서 Transformer의 성공적인 적용을 고려하여, 본 연구에서는 Transformer 내의 크로스 어텐션(cross-attention)이 노이즈가 있는 입력 쌍에 대해 뛰어난 내구성을 가지며 더 나은 특징 정렬을 가능하게 한다는 점을 발견하였다. 따라서 본 논문에서는 도전적인 UDA 작업에 대해 Transformer를 도입한다. 구체적으로, 정확한 입력 쌍을 생성하기 위해 양방향 중심 인식 레이블링 알고리즘을 설계하여 타겟 샘플에 대한 의사 레이블을 생성한다. 이 의사 레이블과 함께, 소스 및 타겟 특징 학습과 소스-타겟 도메인 정렬을 각각 위해 자기 어텐션(self-attention)과 크로스 어텐션을 적용할 수 있도록 가중치 공유의 삼중 브랜치 Transformer 프레임워크를 제안한다. 이러한 설계는 분류 가능한 도메인 특화 및 도메인 불변 표현을 동시에 학습하도록 프레임워크를 명시적으로 강제한다. 본 논문에서 제안하는 방법은 CDTrans(Cross-Domain Transformer)라 명명되며, 순수한 Transformer 기반 솔루션으로 UDA 작업을 해결한 초기 시도 중 하나이다. 실험 결과, 제안된 방법은 공개 UDA 데이터셋인 VisDA-2017 및 DomainNet에서 최고의 성능을 달성하였다. 코드와 모델은 https://github.com/CDTrans/CDTrans 에서 공개되어 있다.