라벨 스무딩은 라벨 노이즈를 완화하는가?

라벨 스무딩은 딥러닝 모델 훈련 시 흔히 사용되는 기법으로, 원-핫(one-hot) 훈련 라벨을 균일한 라벨 벡터와 혼합하는 방식이다. 실증적으로 스무딩 기법은 예측 성능과 모델의 캘리브레이션 모두를 향상시킨다는 것이 입증되어 왔다. 본 논문에서는 라벨 스무딩이 라벨 노이즈 문제에 대응하는 수단으로도 효과적인지 여부를 탐구한다. 라벨 스무딩은 명백히 이 문제를 악화시키는 것으로 보이는데, 이는 라벨에 대칭적인 노이즈를 주입하는 것과 동일하기 때문이다. 그러나 우리는 이 기법이 라벨 노이즈 문헌에서 제시된 손실 보정(loss-correction) 기법의 일반적인 가족과 관련이 있음을 보여준다. 이러한 연결 고리를 기반으로, 라벨 노이즈 상황에서 라벨 스무딩이 손실 보정 기법과 경쟁력 있는 성능을 보임을 입증한다. 또한, 노이즈가 있는 데이터로부터 모델을 다이스틸링할 경우, 교사 모델의 라벨 스무딩이 유익함을 보여준다. 이는 최근의 노이즈 없는 문제에 대한 연구 결과와는 정반대되는 결과이며, 라벨 스무딩이 특히 유용한 상황에 대한 보다 깊은 통찰을 제공한다.