초록
이전 연구들은 학습 가능성을 향상시키기 위해 확실히 노이즈에 강한 손실 함수(예: 평균 절대 오차, MAE)를 표준 범주형 손실 함수(예: 교차 엔트로피, CE)와 결합하는 것이 유리하다는 점을 발견하였다. 본 연구에서는 제이슨-섀넌 발산(Jensen-Shannon divergence)을 노이즈에 강한 손실 함수로 사용하고, 이를 통해 제어 가능한 혼합 파라미터를 통해 CE와 MAE 사이를 유의미하게 보간하는 결과를 보여준다. 또한, 중요한 관찰을 제시한다. 즉, CE는 노이즈가 있는 데이터 포인트 주변에서 일관성이 낮다는 점이다. 이 관찰을 바탕으로, 다수의 분포에 대해 일반화된 제이슨-섀넌 발산을 사용하여 데이터 포인트 주변의 일관성을 촉진한다. 이 손실 함수를 활용함으로써, 노이즈 비율이 다양한 합성 데이터(CIFAR) 및 실제 세계 데이터(예: WebVision)에 대해 최신 기준(SOTA) 수준의 성능을 달성한다.