2달 전
차원성 주도 학습에 대한 노이즈 레이블의 영향
Xingjun Ma; Yisen Wang; Michael E. Houle; Shuo Zhou; Sarah M. Erfani; Shu-Tao Xia; Sudanthi Wijewickrema; James Bailey

초록
노이즈(잘못된) 클래스 레이블이 상당한 비율로 포함된 데이터셋은 정확한 딥 뉴럴 네트워크(DNN)의 학습에 어려움을 제기합니다. 본 연구에서는 이러한 데이터셋에 대한 DNN 일반화를 이해하기 위한 새로운 관점을 제안하며, 학습 샘플의 딥 표현 하위 공간의 차원성을 조사함으로써 이를 접근합니다. 우리는 차원성 관점에서, DNN이 청정 레이블로 학습할 때와 노이즈 레이블이 일부 포함된 상태로 학습할 때 매우 구별되는 학습 스타일을 보임을 입증하였습니다. 이 결과를 바탕으로, 우리는 훈련 중 하위 공간의 차원성을 모니터링하고 손실 함수를 적응적으로 조정하는 새로운 차원성 기반 학습 전략을 개발하였습니다. 실험을 통해 우리의 접근법이 상당한 비율의 노이즈 레이블에 대해 매우 견디는 성능을 보이며, 데이터 분포를 포착하는 저차원 국소 하위 공간을 효과적으로 학습할 수 있음을 실증적으로 확인하였습니다.