소음 있는 레이블 극복을 위한 합의 기반 접근: 공정규화를 통한 공동 학습 방법

노이즈가 있는 레이블을 가진 데이터를 활용한 딥러닝은 약한 지도 학습 분야에서 실질적으로 도전적인 문제이다. 최신 기법인 '디커플링(Decoupling)'과 '코티칭+ (Co-teaching+)'은 노이즈 레이블 학습 문제 완화에 있어 '불일치(Disagreement)' 전략이 핵심적이라고 주장한다. 본 논문에서는 이러한 관점과는 다른 접근을 취하여, 학습 도중 두 개의 네트워크 간의 다양성을 줄이는 강건한 학습 프레임워크인 JoCoR(Joining and Co-Regularization)를 제안한다. 구체적으로, 동일한 미니배치 데이터에 대해 두 개의 네트워크가 예측을 수행하고, 각 학습 예제에 대해 Co-Regularization을 활용한 공동 손실(joint loss)을 계산한다. 이후 작은 손실을 가진 예제들을 선택하여 두 네트워크의 파라미터를 동시에 업데이트한다. 공동 손실에 의해 학습된 두 네트워크는 Co-Regularization의 영향으로 점점 더 유사해지게 된다. MNIST, CIFAR-10, CIFAR-100, Clothing1M 등의 벤치마크 데이터셋에서 노이즈가 포함된 손상된 데이터를 활용한 광범위한 실험 결과를 통해, JoCoR가 노이즈 레이블 학습에 있어 많은 최신 기법들보다 우수함을 입증하였다.