도메인 적대적 훈련에서 부드러움에 대한 더 깊은 관찰

도메인 적대적 훈련은 불변 표현을 얻는 데 널리 사용되며 다양한 도메인 적응 작업에서 광범위하게 활용되고 있다. 최근에는 부드러운 최적해로 수렴하는 방법이 분류와 같은 감독 학습 과제에서 더 나은 일반화 성능을 보이고 있음이 확인되었다. 본 연구에서는 도메인 적대적 훈련에 부드러움을 강화하는 형식을 도입했을 때의 효과를 분석한다. 도메인 적대적 훈련의 목적함수는 과제 손실(예: 분류, 회귀 등)과 적대적 항의 조합으로 구성된다. 분석 결과, 과제 손실에 대해 부드러운 최소값으로 수렴할 경우, 적대적 훈련의 안정성이 향상되어 타겟 도메인에서 더 우수한 성능을 달성함을 확인하였다. 반면 과제 손실과는 달리, 적대적 손실에 대해 부드러운 최소값으로 수렴하는 것은 타겟 도메인에서 최적의 일반화 성능을 도출하지 못함을 발견하였다. 이러한 분석을 바탕으로, 기존 도메인 적대적 훈련 방법의 성능을 분류 및 객체 탐지 과제에서 모두 효과적으로 향상시킬 수 있는 '부드러운 도메인 적대적 훈련(Smooth Domain Adversarial Training, SDAT)' 절차를 제안한다. 또한 본 연구는 도메인 적대적 훈련 분야에서 SGD가 Adam보다 널리 사용되는 이유에 대한 통찰을 제공한다.