최근 들어, 학습 샘플보다 훨씬 많은 네트워크 파라미터를 갖는 과도하게 파라미터화된 딥 네트워크가 현대 기계 학습의 성능을 주도하고 있다. 그러나 학습 데이터가 손상되었을 경우, 과도하게 파라미터화된 네트워크가 과적합(overfitting)을 일으키고 일반화 성능이 저하된다는 점은 잘 알려져 있다. 본 연구에서는 학습 레이블의 일부가 손상된 분류 작업에서 과도하게 파라미터화된 딥 네트워크의 강건한 학습을 위한 체계적인 접근법을 제안한다. 핵심 아이디어는 매우 간단하다: 레이블 노이즈는 희소(sparse)하며, 깨끗한 데이터로부터 학습된 네트워크와 비일관적(incoherent)이므로, 노이즈를 모델링하고 데이터로부터 이를 분리할 수 있도록 학습한다. 구체적으로, 레이블 노이즈를 또 다른 희소한 과도하게 파라미터화된 항을 통해 모델링하고, 암묵적 알고리즘 정규화(implicit algorithmic regularization)를 활용하여 원천적인 오염을 복원하고 분리한다. 놀랍게도, 실질적인 실험에서 이러한 단순한 방법을 사용해 훈련할 경우, 다양한 실제 데이터셋에서 레이블 노이즈에 대한 최신 기술 수준의 테스트 정확도를 달성함을 입증하였다. 더불어, 단순화된 선형 모델에 대한 이론적 분석을 통해, 비일관 조건 하에서 희소한 노이즈와 저질서 데이터 간의 정확한 분리를 달성할 수 있음을 보였다. 본 연구는 희소한 과도하게 파라미터화와 암묵적 정규화를 활용하여 과도하게 파라미터화된 모델을 개선할 수 있는 많은 흥미로운 연구 방향을 제시한다.