깊은 신경망을 라벨 노이즈에 강하게 만드는 방법: 손실 보정 접근법

우리는 클래스에 따라 다른 라벨 노이즈(class-dependent label noise)를 포함하는 딥 신경망, 특히 순환 신경망을 훈련시키는 이론적으로 근거한 접근법을 제시합니다. 우리는 애플리케이션 영역과 네트워크 아키텍처에 관계없이 손실 보정(loss correction)을 위한 두 가지 절차를 제안합니다. 이러한 절차들은 각 클래스가 다른 클래스로 오염될 확률을 알고 있는 경우, 행렬의 역행렬(inversion)과 곱셈(multiplication)으로 단순히 이루어집니다. 또한 우리는 이러한 확률들을 추정하는 방법을 보여주며, 최근의 노이즈 추정 기술을 다중 클래스 설정(multi-class setting)에 적응시켜 이를 제공합니다. 이렇게 하여 종단간(end-to-end) 프레임워크를 구축하였습니다.MNIST, IMDB, CIFAR-10, CIFAR-100 및 의류 이미지 대규모 데이터셋에서 다양한 아키텍처(밀집층, 합성곱층, 풀링층, 드롭아웃층, 배치 정규화(batch normalization), 워드 임베딩(word embedding), LSTM 및 잔차 층(residual layers) 등을 쌓은 아키텍처)를 사용한 광범위한 실험을 통해 우리의 제안들이 노이즈에 강건하다는 것을 입증하였습니다. 부수적으로, ReLU가 유일한 비선형성(non-linearity)인 경우 손실 곡률(loss curvature)이 클래스에 따른 라벨 노이즈에 면역이라는 것을 증명하기도 하였습니다.