노이즈 있는 레이블을 사용한 학습 시 일반화된 레이블 스무딩 이해하기

라벨 스무딩(LS)은 하드 레이블과 균일하게 분포된 소프트 레이블의 양의 가중 평균을 사용하는 등장하는 학습 패러다임이다. 기존 연구에서 LS가 하드 레이블을 가진 학습 데이터에 대해 정규화(regularizer) 역할을 하며 모델의 일반화 성능을 향상시킨다는 점이 입증되었다. 이후 LS가 노이즈가 있는 레이블을 사용한 학습 과정에서 로버스트성(robustness) 향상에도 기여한다는 보고도 있었다. 그러나 본 연구에서는 고도의 레이블 노이즈 환경에서 LS의 장점이 사라지는 현상을 관찰하였다. 이러한 현상에 대해 의문을 품고, 기존 문헌에서 제안된 여러 레이블 노이즈 환경에서의 학습 기법들이 실제로는 $ \textit{음의 레이블 스무딩} $ (NLS)과 더 밀접한 관련이 있음을 밝혀냈다. NLS는 하드 레이블과 소프트 레이블을 음의 가중치를 사용하여 결합하는 방식으로 정의된다! 우리는 NLS가 LS와는 달리 모델의 신뢰도(confidence)에 있어 본질적으로 다른 성질을 갖는다는 점을 보여주었다. 두 경우를 구분하기 위해, 본 연구에서는 기존의 LS를 $ \textit{양의 레이블 스무딩} $ (PLS)으로 명명하며, 본 논문에서는 PLS와 NLS를 통합하여 $ \textit{일반화된 레이블 스무딩} $ (GLS)이라는 개념을 제안한다. 또한 노이즈 있는 레이블을 학습할 때 GLS의 성질에 대한 이해를 제공한다. 기존에 알려진 성질 외에도, 이론적으로 레이블 노이즈 비율이 높을수록 NLS가 더 유리하다는 점을 입증하였다. 본 연구는 다양한 벤치마크에서 광범위한 실험 결과를 제시하여 이러한 결론을 뒷받침한다.