대규모 이미지 분류에서 상관되는 입력에 의존하는 레이블 노이즈

대규모 이미지 분류 데이터셋은 종종 노이즈가 있는 레이블을 포함하고 있다. 우리는 이러한 데이터셋에서 입력에 의존적인(또는 이질분산적, heteroscedastic) 레이블 노이즈를 체계적인 확률적 접근 방식으로 모델링한다. 신경망 분류기의 최종 은닉층에 다변량 정규분포를 가지는 잠재 변수를 도입한다. 이 잠재 변수의 공분산 행렬은 레이블 노이즈로 인한 알레아토릭 불확실성(aleatoric uncertainty)을 모델링한다. 우리는 학습된 공분산 구조가 의미적으로 유사하거나 동시에 발생하는 클래스 간에 알려진 레이블 노이즈의 원인을 효과적으로 포착함을 입증한다. 기존의 신경망 학습 방식 및 다른 기준 모델들과 비교하여, ImageNet ILSVRC 2012에서 79.3%의 정확도(+2.6%), ImageNet-21k에서 47.0%(+1.1%), JFT에서 64.7%(+1.6%)의 상당한 정확도 향상을 보였다. WebVision 1.0에서는 76.6%의 top-1 정확도로 새로운 최고 성능 기록을 수립했다. 이 데이터셋들은 훈련 예제 수가 100만 개 이상에서 3억 개 이상으로, 클래스 수는 1,000개에서 21,000개 이상에 이른다. 본 연구의 방법은 사용이 간단하며, 깊은 분류기의 최종 완전 연결층에 바로 대체할 수 있는 구현체를 제공한다.