라벨 노이즈를 위한 압축 정규화를 통한 Co-teaching 강화

이 논문에서는 레이블 노이즈가 존재하는 환경에서 이미지 분류 모델을 학습하는 문제를 다룬다. 우리는 단순한 압축 정규화 기법인 네스티드 드롭아웃(Nested Dropout)을 재검토한다. 기존에 빠른 정보 검색과 적응형 데이터 압축을 위해 제안된 네스티드 드롭아웃이, 실제로는 레이블 노이즈에 대응하기 위해 신경망을 적절히 정규화할 수 있음을 발견하였다. 게다가 이 기법은 구현이 간단하므로, Co-teaching와 쉽게 결합할 수 있어 성능을 더욱 향상시킬 수 있다.우리의 최종 모델은 간단하면서도 효과적이다. 실제 레이블 노이즈가 포함된 두 가지 데이터셋인 Clothing1M과 ANIMAL-10N에서 최신 기술들과 비교해 유사하거나 더 뛰어난 성능을 달성하였다. Clothing1M에서는 74.9%의 정확도를 기록하여 DivideMix보다 약간 우수한 결과를 얻었으며, ANIMAL-10N에서는 84.1%의 정확도를 달성하여 공개된 최고 성능인 PLC의 83.4%를 초과하였다. 본 연구에서 제안하는 단순한 접근법이 레이블 노이즈가 존재하는 학습 문제에 대한 강력한 기준 모델(기준 성능)이 되기를 기대한다. 구현 코드는 https://github.com/yingyichen-cyy/Nested-Co-teaching 에서 공개되어 있다.