초록
노이즈가 포함된 레이블을 가진 데이터로 깊은 신경망을 성공적으로 훈련하는 능력은 대부분의 실세계 데이터셋이 어느 정도의 잘못된 레이블을 포함하고 있기 때문에 필수적이다. 이 레이블 노이즈가 방치될 경우, 전통적인 감독학습 접근법의 성능은 급격히 저하된다. 본 논문에서는 강건한 손실 함수와 반감독 학습 정규화 기법을 결합하여 노이즈에 강건한 학습을 달성하는 강건한 시간 통합(robust temporal ensembling, RTE)을 제안한다. 우리는 RTE가 CIFAR-10, CIFAR-100, ImageNet, WebVision, Food-101N 등의 다양한 데이터셋에서 최신 기준을 넘는 성능을 보임을 입증하였으며, 최근의 레이블 필터링 및/또는 수정 기법을 따르지 않고도 효과적으로 작동함을 보였다. 마지막으로, RTE가 CIFAR-10-C를 이용하여 예상치 못한 입력 노이즈에 대해 경쟁 가능한 강건성을 유지함을 보여주었으며, 80%의 높은 노이즈 비율 조건에서도 평균 손상 오차(mean corruption error, mCE)가 13.50%에 그치는 반면, 표준 방법은 정제된 데이터에서 26.9%의 mCE를 기록함을 확인하였다.