초록
Mixup는 학습 데이터 포인트와 레이블을 선형 조합을 통해 새로운 예시를 생성하는 데이터 증강 기법이다. 이 간단한 기법은 다양한 설정과 응용 분야에서 최첨단 모델의 정확도 향상에 실험적으로 효과가 있음을 보여왔으나, 이러한 실험적 성공의 원인은 여전히 명확히 이해되지 않고 있다. 본 논문에서는 Mixup의 이론적 기반을 설명하는 데 있어 중요한 진전을 이뤄내며, 특히 Mixup의 정규화 효과를 명확히 밝힌다. 우리는 Mixup가 데이터 변환과 변환된 데이터에 대한 무작위 편향을 동시에 고려한 표준 경험적 리스크 최소화 추정기로 해석될 수 있음을 보여준다. 이러한 새로운 해석을 통해 두 가지 핵심 통찰을 얻었다. 첫째, 데이터 변환의 의미는 테스트 시점에 Mixup로 훈련된 모델이 변환된 데이터에 적용되어야 한다는 점이다. 이는 코드 상에서 단 한 줄의 변경만으로도 예측의 정확도와 캘리브레이션(보정성)을 동시에 향상시킨다는 점을 실험적으로 입증하였다. 둘째, 새로운 해석에 기반한 무작위 편향이 기존의 여러 정규화 기법, 특히 레이블 스무딩(label smoothing)과 추정기의 리프시츠(Lipschitz) 상수 감소를 유도함을 보였다. 이러한 기법들은 서로 상호작용하여 자가 캘리브레이션(self-calibrated)되고 효과적인 정규화 효과를 만들어내며, 과적합과 지나친 확신(predicative overconfidence)을 방지한다. 본 연구는 이론적 분석을 실험을 통해 검증하여 결론의 타당성을 뒷받침한다.