초록
현대의 신경망은 실제 데이터셋에서 흔히 발견되는 노이즈가 있는 레이블에 과적합(overfit)할 수 있는 능력을 가지고 있다. 비록 큰 진전이 이루어졌지만, 기존 기법들은 노이즈가 있는 레이블로 훈련된 신경망의 성능에 대해 이론적인 보장을 제공하는 데 한계가 있다. 본 연구에서는 노이즈가 있는 레이블로 훈련된 딥 네트워크에 대해 강력한 이론적 보장을 갖춘 새로운 접근법을 제안한다. 제안하는 방법의 핵심 아이디어는 정제된 데이터 포인트들의 가중치 부여된 부분집합(코어셋, coresets)을 선택하여, 이들의 야코비안 행렬(Jacobian matrix)이 근사적으로 낮은 랭크(low-rank)를 갖도록 하는 것이다. 우리는 이러한 부분집합에 대해 그라디언트 하강법(gradient descent)을 적용할 경우 노이즈 레이블에 과적합되지 않음을 증명한다. 광범위한 실험 결과는 본 연구의 이론을 뒷받침하며, 제안한 부분집합을 기반으로 훈련된 딥 네트워크가 기존 최고 수준의 기법보다 훨씬 뛰어난 성능을 보임을 입증한다. 예를 들어, CIFAR-10 데이터셋에서 노이즈 레이블 비율이 80%일 때 정확도가 6% 향상되었으며, mini Webvision에서는 7%의 정확도 향상이 관측되었다.