노이즈 있는 레이블 학습을 위한 조기 중단의 이해와 개선

심층 신경망(DNN)의 기억 효과는 최신의 레이블 노이즈 학습 방법들에서 핵심적인 역할을 한다. 이 성질을 활용하기 위해, 학습의 초기 단계에서 최적화를 중단하는 '조기 정지(early stopping)' 기법이 일반적으로 사용된다. 현재의 대부분의 방법들은 DNN을 전반적으로 하나의 단위로 간주하여 조기 정지 시점을 결정한다. 그러나 DNN은 여러 층(layer)의 조합으로 구성될 수 있으며, 본 연구에서는 후단의 층이 레이블 노이즈에 훨씬 더 민감한 반면, 전단 층은 상대적으로 매우 강건하다는 점을 발견하였다. 따라서 전체 네트워크에 대해 동일한 정지 시점을 설정하는 것은 각 층 간에 상호 간섭을 유도할 수 있으며, 결과적으로 최종 성능 저하를 초래할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 DNN을 여러 부분으로 분리하고, 점진적으로 각 부분을 학습하는 새로운 접근법을 제안한다. 전통적인 조기 정지 기법이 전체 DNN을 동시에 학습하는 방식인 반면, 본 논문에서 제안하는 점진적 조기 정지(Progressive Early Stopping, PES)는 먼저 전체 DNN의 전단 층을 비교적 많은 에포크 수로 최적화하여 초기화한 후, 고정된 전단 층을 기반으로 후단 층을 더 적은 에포크 수로 점진적으로 학습한다. 이를 통해 노이즈 레이블의 영향을 효과적으로 완화할 수 있다. 간단한 구조임에도 불구하고, 기존의 조기 정지 기법에 비해 PES는 더욱 유망하고 안정적인 성능을 달성할 수 있다. 또한, 기존의 노이즈 레이블 학습 기법들과 PES를 결합함으로써, 이미지 분류 벤치마크에서 최고 수준의 성능을 달성하였다.