조기 학습 정규화는 노이즈 있는 레이블의 기억화를 방지한다

노이즈 있는 레이블을 가진 상황에서 딥 러닝을 이용한 분류를 수행하기 위한 새로운 프레임워크를 제안한다. 노이즈 있는 레이블로 훈련할 때, 딥 신경망은 초기 학습 단계(early learning phase) 동안 청정 레이블을 가진 데이터에 먼저 적합하게 학습한 후, 결국 잘못된 레이블을 가진 예시들을 기억하게 된다. 본 연구에서는 이러한 초기 학습과 기억화 현상이 고차원 분류 과제에서 본질적인 특성임을 증명하며, 단순한 선형 모델에서도 이러한 현상이 나타남을 이론적으로 설명한다. 이러한 발견을 바탕으로, 초기 학습 단계의 진전을 활용하는 새로운 노이즈 분류 기법을 개발하였다. 기존의 접근 방식이 초기 학습 중 모델 출력을 이용해 청정 레이블을 가진 예시를 탐지하고, 잘못된 레이블은 무시하거나 보정하려는 방식인 반면, 본 연구는 이와 달리 초기 학습을 정규화를 통해 활용하는 새로운 접근을 취한다. 본 방법의 핵심은 두 가지 요소로 구성된다. 첫째, 모델 출력을 기반으로 타겟 확률을 생성하기 위해 반감독 학습 기법을 활용한다. 둘째, 모델이 이러한 타겟 방향으로 향하도록 유도하는 정규화 항을 설계하여, 잘못된 레이블의 기억화를 간접적으로 방지한다. 제안된 프레임워크는 여러 표준 벤치마크 및 실제 데이터셋에서 노이즈 있는 레이블에 대해 강건성을 보이며, 기존 최고 성능 기법과 비슷한 성능을 달성함을 입증하였다.