노이즈 있는 레이블로부터 학습하기: 분리된 메타 레이블 정제기와 함께

노이즈 있는 레이블을 사용하여 깊은 신경망(DNN)을 훈련하는 것은 DNN이 잘못된 레이블을 쉽게 외워버리기 때문에 일반화 성능이 저하되는 어려움이 있다. 최근에는 소량의 정제된 검증 데이터를 활용하여 잠재적인 노이즈 레이블을 식별하고 수정하는 메타학습 기반의 레이블 보정 전략이 널리 채택되고 있다. 정제된 레이블을 사용한 훈련은 성능 향상에 효과적이지만, 메타학습 문제를 해결하기 위해서는 모델 가중치와 하이퍼파라미터(즉, 레이블 분포) 간의 이중 최적화 이중 루프(nested loop of bi-level optimization)가 불가피하다. 이를 해결하기 위해 기존 방법들은 교차 업데이트를 반복하는 결합 학습 과정을 활용한다. 본 논문에서는 모델 가중치와 레이블 분포를 동시에 최적화하는 방식이 최적의 성능을 달성하지 못함을 경험적으로 발견하였으며, 이는 백본의 표현 능력과 보정된 레이블의 정확도를 제한한다. 이러한 관찰을 바탕으로, 새로운 다단계 레이블 정제기인 DMLP(Dual-stage Meta Label Purifier)를 제안한다. DMLP는 레이블 보정 과정을 ‘레이블 없는 표현 학습’과 ‘간단한 메타 레이블 정제기’로 분리함으로써, 두 개의 명확한 단계에서 구분된 특징 추출과 레이블 보정에 집중할 수 있도록 한다. DMLP는 플러그 앤 플레이(Plug-and-play) 형태의 레이블 정제기로, 정제된 레이블은 단순한 엔드투엔드 네트워크 재훈련이나 다른 강건한 학습 방법에 바로 재사용 가능하다. 다양한 합성 및 실제 노이즈 데이터셋에서 상태의 기술(SOTA) 성능을 달성하였으며, 특히 높은 노이즈 수준에서도 뛰어난 성능을 보였다.