라벨 노이즈에 대한 강건성을 위한 다목적 보간 훈련

표준 크로스 엔트로피 손실로 훈련된 딥 신경망은 노이즈 있는 레이블을 기억하게 되어 성능이 저하된다. 이 문제를 완화하기 위한 대부분의 연구는 새로운 로버스트 분류 손실 함수를 제안한다. 반면, 본 연구에서는 대조 학습(contrastive learning)과 분류를 함께 활용하여 서로 보완하고, 레이블 노이즈에 대한 성능을 향상시키는 다중 목적 보간 훈련(Multi-Objective Interpolation Training, MOIT) 방법을 제안한다. 우리는 레이블 노이즈가 존재할 경우 표준 감독형 대조 학습이 성능 저하됨을 보이며, 이를 완화하기 위한 보간 훈련 전략을 제안한다. 또한, 대조 학습을 통해 학습된 로버스트 특징 표현을 활용하여 각 샘플에 대한 소프트 레이블(soft-labels)을 추정하는 새로운 레이블 노이즈 탐지 방법을 제안한다. 이 소프트 레이블과 원래 레이블 간의 불일치는 노이즈 샘플을 정확히 식별하는 데 효과적이다. 이러한 탐지 기법을 통해 노이즈 있는 샘플을 미라벨링된 데이터로 취급하고, 반감독 학습 방식으로 분류기를 훈련함으로써 노이즈 기억 현상을 방지하고 표현 학습을 개선한다. 더 나아가, 탐지된 클린 샘플에 대해 미세 조정(fine-tuning)을 수행하는 MOIT+를 제안하여 MOIT의 성능을 보완한다. 하이퍼파라미터 및 아블레이션 연구를 통해 본 방법의 핵심 구성 요소들이 효과적임을 검증하였다. 인공 및 실세계 노이즈 벤치마크에서의 실험 결과, MOIT/MOIT+가 최신 기준(SOTA) 성능을 달성함을 입증하였다. 코드는 https://git.io/JI40X 에서 공개되어 있다.