부드럽게 할 것인가? 레이블 스무딩이 노이즈 있는 레이블과 만날 때

라벨 스무딩(LS)은 하드 레이블과 균일 분포를 가진 소프트 레이블의 양면적인 가중 평균을 사용하는 등장하는 학습 패러다임이다. 기존 연구에서 LS가 하드 레이블을 가진 학습 데이터에 정규화 효과를 제공함으로써 모델의 일반화 성능을 향상시킨다는 점이 입증되었다. 이후 LS가 노이즈가 있는 레이블을 사용한 학습 시 로버스트성을 향상시키는 데에도 도움이 된다는 보고가 있었다. 그러나 우리는 높은 레이블 노이즈 환경에서 LS의 이점이 사라지는 현상을 관찰하였다. 직관적으로 설명하면, 노이즈 비율이 높을수록 $\mathbb{P}(\text{노이즈 레이블}|X)$의 엔트로피가 증가하게 되며, 이 경우 추가로 LS를 적용하면 추정된 사후 확률이 오히려 "과도하게 스무딩"(over-smooth)되는 현상이 발생한다. 이에 따라 우리는 기존 문헌에서 제안된 여러 노이즈 레이블 학습 기법들이 오히려 음의 라벨 스무딩(NLS)과 더 밀접하게 관련되어 있음을 발견하였다. NLS는 LS와 반대되는 작용을 하며, 하드 레이블과 소프트 레이블을 음의 가중치를 사용하여 조합하는 방식으로 정의된다. 본 연구에서는 노이즈 레이블 학습 환경에서 LS와 NLS의 성질에 대해 새로운 이해를 제시한다. 특히, 기존의 여러 잘 알려진 성질 외에도 이론적으로 높은 레이블 노이즈 비율 상황에서 NLS가 더 유익하다는 점을 입증하였다. 이러한 주장은 다양한 벤치마크에서 실시한 광범위한 실험 결과를 통해 뒷받침된다. 관련 코드는 공개적으로 제공되며, https://github.com/UCSC-REAL/negative-label-smoothing 에서 확인할 수 있다.