도메인 적대적 훈련을 위한 무료 점심: 환경 레이블 부드럽게 하기

머신러닝 모델의 핵심 과제 중 하나는 분포 외(out-of-distribution, OOD) 데이터에 대해 학습된 모델의 일반화 능력을 확보하는 것이다. 다양한 접근 방식 중에서 도메인 적대적 훈련(Domain Adversarial Training, DAT)을 통해 불변 특징(invariant features)을 활용하는 방법이 널리 주목받고 있다. 이러한 기법은 성공을 거두었음에도 불구하고, DAT에서 훈련의 불안정성 현상을 관찰할 수 있는데, 이는 주로 과도하게 확신하는 도메인 구분자(discriminator)와 환경 레이블의 노이즈 때문이다. 이 문제를 해결하기 위해 우리는 환경 레이블 스무딩(Environment Label Smoothing, ELS)을 제안한다. ELS는 구분자가 부드러운 확률(probability)을 출력하도록 유도함으로써 구분자의 확신도를 낮추고, 노이즈가 있는 환경 레이블의 영향을 완화한다. 실험적 및 이론적으로 ELS가 훈련 안정성, 국소 수렴성(local convergence), 그리고 노이즈가 있는 환경 레이블에 대한 강건성(robustness)을 향상시킬 수 있음을 입증하였다. DAT 기법과 ELS를 결합함으로써, 특히 환경 레이블이 매우 노이즈가 많은 상황에서도 다양한 도메인 일반화/적응 작업에서 최신 기술(SOTA) 수준의 성능을 달성할 수 있었다.