MentorNet: 손상된 라벨을 가진 매우 깊은 신경망에서 데이터 기반 커리큘럼 학습

최근의 딥 네트워크는 라벨이 완전히 임의로 부여된 경우에도 전체 데이터를 기억할 수 있는 능력을 가지고 있습니다. 이러한 오염된 라벨에 대한 과적합을 극복하기 위해, 우리는 기초 딥 네트워크인 StudentNet의 학습을 감독하는 다른 신경망인 MentorNet을 학습하는 새로운 기술을 제안합니다. 학습 중 MentorNet은 StudentNet이 아마도 올바른 라벨을 가진 샘플에 집중하도록 하는 커리큘럼(샘플 가중치 방식)을 제공합니다. 기존의 커리큘럼이 일반적으로 인간 전문가에 의해 미리 정의되는 것과 달리, MentorNet은 StudentNet과 함께 동적으로 데이터 주도적인 커리큘럼을 학습합니다. 실험 결과는 우리의 접근법이 오염된 훈련 데이터로 학습된 딥 네트워크의 일반화 성능을 크게 개선할 수 있음을 보여줍니다. 특히, 우리 지식으로는 WebVision에서 최고의 공개 결과를 달성한 것으로 알려져 있습니다. WebVision은 실제 세계의 노이즈가 있는 라벨을 포함하는 220만 장의 이미지를 포함하는 큰 벤치마크입니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/google/mentornet