도메인 적응을 위한 주의의 진화에 대하여

비지도 도메인 적응(UDA)의 향상을 위한 연구가 활발히 진행되고 있다. 최근 연구자들은 다양한 도메인 조건부 어텐션 모듈을 제안하며 유망한 성과를 거두고 있다. 그러나 어텐션 모듈의 구성—즉, 어텐션 유형과 위치—가 성능에 상당한 영향을 미친다는 점을 고려할 때, 인간의 개입 없이도 임의의 UDA 시나리오에 특화된 어텐션 구성 자체를 자동으로 최적화하는 것이 더 일반화된 접근이라고 할 수 있다. 본 논문은 처음으로 인간의 개입 없이 주어진 UDA 작업에 대해 어텐션 구성 자체를 진화시키는 새로운 프레임워크인 EvoADA를 제안한다. 특히, 다양한 어텐션 구성이 포함된 새로운 탐색 공간을 제안하고, 어텐션 구성의 평가 및 탐색 과정을 UDA 지향적으로(이전 도메인으로부터의 전이 가능성 + 구분 능력) 설계하였다. 이를 위해 간단하면서도 효과적인 평가 전략을 적용한다: 1) 표준 도메인 적응 방법을 활용해 두 도메인에서 네트워크 가중치를 학습하고, 2) 타겟 도메인에서의 구분 능력을 기준으로 어텐션 구성의 진화를 유도한다. Office-31, Office-Home, CUB-Paintings, Duke-Market-1510 등 다양한 교차 도메인 벤치마크에서의 실험 결과, 제안하는 EvoADA가 여러 최신 도메인 적응 방법을 일관되게 향상시키며, 최적의 어텐션 구성이 성능 향상에 기여함을 확인할 수 있었다.