2달 전
비지도 라벨 노이즈 모델링 및 손실 보정
Eric Arazo; Diego Ortego; Paul Albert; Noel E. O'Connor; Kevin McGuinness

초록
라벨 노이즈가 적은 경우에도 견고함을 보이는 확률적 경사 하강 방법으로 훈련된 합성곱 신경망은 랜덤 라벨에 쉽게 적합하는 것으로 알려져 있습니다. 올바른 라벨과 잘못된 라벨이 혼합된 타겟이 있을 때, 네트워크는 일반적으로 후자보다 전자를 먼저 적합합니다. 이는 훈련 중 샘플 손실 값의 비지도 생성 모델로 적절한 두 성분 혼합 모델을 사용하여 샘플이 잘못 라벨링되었을 확률을 온라인으로 추정할 수 있음을 시사합니다. 구체적으로, 우리는 이 확률을 추정하고 네트워크 예측(즉, 부트스트랩 손실)에 의존하여 손실을 교정하기 위해 베타 혼합 모델을 제안합니다. 또한, mixup 증강 기법을 적용하여 우리의 접근 방식을 한 단계 더 발전시킵니다. CIFAR-10/100 및 TinyImageNet에서 수행한 실험들은 최근 최신 연구보다 크게 우수한 라벨 노이즈에 대한 견고성을 입증하였습니다. 소스 코드는 https://git.io/fjsvE에서 제공됩니다.