글로벌-로컬 정규화: 분포로부스팅을 통한 접근

다수의 상황에서 뛰어난 성능을 보이지만, 딥 신경망은 일반적으로 적대적 예시(adversarial examples)와 분포 이동(distribution shifts)에 취약하여 실세계 응용에서 모델의 일반화 능력이 제한된다. 이러한 문제를 완화하기 위해 최근의 접근법들은 분포로부스트 최적화(distributional robustness optimization, DRO)를 활용하여 가장 도전적인 분포를 찾은 후, 이 분포에 대해 손실 함수를 최소화한다. 이러한 DRO 기법들은 일부 성과를 거두긴 했지만, 명백한 한계를 가지고 있다. 첫째, 기존 방법들은 모델의 강건성을 강화하기 위해 오직 국소적 정규화(local regularization)에만 집중하며, 도메인 적응(domain adaptation), 도메인 일반화(domain generalization), 그리고 적대적 기계학습(adversarial machine learning)과 같은 다양한 실세계 응용에서 유용한 전역적 정규화(global regularization) 효과를 간과하고 있다. 둘째, 기존 DRO 방법에서의 손실 함수는 오직 가장 도전적인 분포에서만 작동하기 때문에 원래 분포와 분리되며, 이로 인해 모델링 능력이 제한된다. 본 논문에서는 워셔스타인 기반 DRO 프레임워크의 사상에 따라 새로운 정규화 기법을 제안한다. 구체적으로, 특별한 연합 분포(joint distribution)와 워셔스타인 기반 불확실성(Wasserstein-based uncertainty)을 정의함으로써, 원래 분포와 가장 도전적인 분포를 결합함으로써 모델링 능력을 향상시키고, 국소적 및 전역적 정규화를 동시에 적용할 수 있도록 한다. 다양한 학습 문제에 대한 실증 연구를 통해 제안하는 방법이 기존 정규화 기법보다 상당히 우수한 성능을 보임을 입증하였으며, 반감독 학습(semi-supervised learning), 도메인 적응, 도메인 일반화, 그리고 적대적 기계학습 등 다양한 분야에서 뛰어난 성능을 나타낸다.