노이즈 있는 레이블 학습을 위한 특징 압축

지도 학습은 입력 데이터로부터 관련 정보를 특징 표현으로 정제하는 과정으로 볼 수 있다. 그러나 지도 신호가 노이즈를 포함할 경우, 정제된 정보가 관련성이 없을 수 있어 이 과정은 어려워진다. 실제로 최근 연구에 따르면, 네트워크는 손상된 레이블을 포함하여 모든 레이블에 쉽게 과적합(overfit)할 수 있으며, 이로 인해 깨끗한 데이터셋에 대한 일반화 능력이 매우 낮아진다. 본 논문에서는 노이즈가 있는 레이블을 가진 학습 문제에 초점을 맞추고, 과적합 문제를 완화하기 위해 네트워크 아키텍처에 압축 유도 편향(compression inductive bias)을 도입한다. 구체적으로, 기존의 전형적인 정규화 기법인 Dropout과 그 변형인 Nested Dropout을 재검토한다. Dropout은 특징을 제거하는 메커니즘을 통해 압축 제약 조건으로 작용할 수 있으며, Nested Dropout은 특징의 중요도에 따라 정렬된 특징 표현을 학습한다. 또한, 압축 정규화를 적용해 훈련된 모델은 성능 향상을 위해 Co-teaching 기법과 결합된다.이론적으로, 압축 정규화 하에서 목적 함수의 편향-분산 분해(bias-variance decomposition)를 수행하였다. 이 분해는 단일 모델과 Co-teaching 모두에 대해 분석되었으며, 세 가지 통찰을 제공한다. (i) 노이즈 있는 레이블을 가진 학습에서 과적합이 실제로 중요한 문제임을 보여준다. (ii) 정보 블로커(Information Bottleneck) 공식화를 통해 제안된 특징 압축이 왜 레이블 노이즈에 대응하는 데 효과적인지 설명한다. (iii) Co-teaching에 압축 정규화를 도입함으로써 발생하는 성능 향상에 대한 설명을 제공한다. 실험 결과, 실제 세계의 레이블 노이즈를 포함한 벤치마크(예: Clothing1M, ANIMAL-10N)에서 제안하는 간단한 방법이 최신 기법들과 비교하여 유사하거나 더 뛰어난 성능을 보였다. 본 연구의 구현 코드는 다음 링크에서 확인할 수 있다: https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/.