노이즈 있는 레이블을 이용한 자기지도 학습 기반 적대적 노이즈 마스킹 방식

대규모 데이터셋을 수집하는 것은 딥 모델을 훈련시키는 데 있어 핵심적인 과정이지만, 데이터에 레이블을 부여하는 과정은 불가피하게 노이즈가 포함된 레이블을 초래하며, 이는 딥러닝 알고리즘에 도전 과제를 안겨준다. 기존의 연구들은 주로 훈련 샘플 간의 통계적 특성(예: 손실 값)을 기반으로 노이즈 있는 샘플을 식별하거나 레이블을 수정함으로써 이 문제를 완화하려는 접근을 취해왔다. 본 논문에서는 이 문제를 새로운 관점에서 다루고자 한다. 깊은 특징 맵을 탐구한 결과, 정상 레이블과 잘못된 레이블을 가진 샘플로 훈련된 모델은 구분 가능한 활성화 특징 분포를 보임을 경험적으로 발견하였다. 이러한 관찰을 바탕으로, 레이블 품질을 기반으로 한 마스킹 전략을 활용하여 깊은 특징을 정규화하는 새로운 강건한 훈련 방법인 '애드버서리 노이즈 마스킹(Adversarial Noisy Masking)'을 제안한다. 이 방법은 입력 데이터와 레이블을 동시에 적응적으로 조절하는 마스킹 기법을 통해 모델이 노이즈가 포함된 샘플에 과적합되는 것을 방지한다. 또한, 입력 데이터를 재구성하는 보조 과제를 설계함으로써 노이즈가 없는 자기지도 학습 신호를 자연스럽게 제공함으로써 딥 모델의 일반화 능력을 강화한다. 제안된 방법은 간단하고 유연하며, 합성 데이터셋과 실제 세계의 노이즈가 포함된 데이터셋에서 실험한 결과, 기존 최고 성능의 방법들에 비해 뚜렷한 성능 향상을 달성하였다.