한 달 전

노이즈 레이블을 가진 딥 신경망 훈련을 위한 일반화된 크로스 엔트로피 손실 함수

Zhilu Zhang; Mert R. Sabuncu
노이즈 레이블을 가진 딥 신경망 훈련을 위한 일반화된 크로스 엔트로피 손실 함수
초록

깊은 신경망(DNNs)은 다양한 학문 분야에서 여러 응용 프로그램에 있어 뛰어난 성공을 거두었습니다. 그러나 이들의 우수한 성능은 정확하게 주석이 달린 대규모 데이터셋을 요구하는 비싼 비용과 함께합니다. 또한, DNNs의 풍부한 용량으로 인해 학습 라벨의 오류가 성능을 저하시킬 수 있습니다. 이러한 문제를 해결하기 위해, 최근 평균 절대 오차(MAE)가 일반적으로 사용되는 범주적 크로스 엔트로피(CCE) 손실의 노이즈에 강한 대안으로 제안되었습니다. 그러나 본 논문에서 보여지는 바와 같이, MAE는 도전적인 데이터셋과 DNNs에서 성능이 저하될 수 있습니다. 이에 우리는 MAE와 CCE를 일반화할 수 있는 이론적으로 입증된 노이즈에 강한 손실 함수 집합을 제시합니다. 제안된 손실 함수들은 기존의 모든 DNN 아키텍처와 알고리즘에 쉽게 적용할 수 있으며, 다양한 노이즈 라벨 시나리오에서 좋은 성능을 발휘합니다. 우리는 CIFAR-10, CIFAR-100 및 FASHION-MNIST 데이터셋과 인위적으로 생성된 노이즈 라벨을 사용하여 수행한 실험 결과를 보고합니다.