초록
딥 신경망(DNN)은 레이블 노이즈 하에서 효과적으로 학습하지 못하며, 무작위 레이블을 기억하는 경향이 있음이 입증되어 일반화 성능에 악영향을 미친다. 본 연구에서는 표준 학습 절차의 주요 한계로, 하나의 원-핫 인코딩 레이블만을 독립적인 감독 신호로 사용하고, 기억화를 억제하기 위한 정규화가 부족하다는 점을 고려한다. 이를 바탕으로, 두 모델 간의 합의를 추가적인 감독 신호로 활용하는 협동 학습 기반의 '노이즈 동시 학습(Noisy Concurrent Training, NCT)'을 제안한다. 또한 뇌의 시도 간 변동성(try-to-trial variability)에 영감을 받아, 직관에 반하는 정규화 기법인 '타겟 변동성(Target Variability)'을 제안한다. 이 기법은 각 배치 내 일부 학습 샘플의 레이블을 무작위로 변경함으로써 기억화와 과도한 일반화를 억제한다. 타겟 변동성은 각 모델에 독립적으로 적용되어 모델 간의 차이를 유지하고, 확인 편향(confirmation bias)을 방지한다. DNN은 일반적으로 노이즈가 있는 레이블을 기억하기 전에 간단한 패턴부터 우선 학습하므로, 학습이 진행됨에 따라 두 모델이 점점 더 자신의 합의에 의존하도록 하는 동적 학습 전략을 도입한다. 또한 NCT는 학습 후반 단계에서 타겟 변동성을 점진적으로 증가시켜 기억화를 방지한다. 제안된 방법의 효과는 합성 및 실제 세계의 노이즈가 있는 벤치마크 데이터셋을 통해 입증되었다.