분쟁이 라벨 오염에 대항하여 일반화를 어떻게 도와주는가?

노이즈 라벨로 학습하는 것은 약한 감독 학습에서 가장 주목받는 문제 중 하나입니다. 딥 신경망의 기억 효과를 기반으로, 소실 함수(loss) 인스턴스에서의 학습은 노이즈 라벨을 처리하는 데 매우 유망합니다. 이는 두 개의 딥 신경망을 소실 함수 트릭을 사용하여 교차 학습시키는 최신 접근 방식인 "Co-teaching"을 촉진시켰습니다. 그러나 에폭(epoch)이 증가함에 따라 두 네트워크는 공통된 의견에 수렴하고, Co-teaching은 자기학습 방식인 MentorNet으로 축소됩니다. 이러한 문제를 해결하기 위해, 우리는 원래의 Co-teaching과 "불일치에 의한 업데이트(Update by Disagreement)" 전략을 연결하는 강건한 학습 패러다임인 Co-teaching+를 제안합니다. 첫째, 두 네트워크는 모든 데이터를 순전파(feed forward)하고 예측하지만, 예측 불일치 데이터만 유지합니다. 둘째, 이러한 불일치 데이터 중에서 각 네트워크는 자신의 소실 함수 데이터를 선택하지만, 동료 네트워크로부터 소실 함수 데이터를 역전파(back propagate)하여 자신의 매개변수를 업데이트합니다. 벤치마크 데이터셋에서의 실증 결과는 Co-teaching+가 훈련된 모델의 강건성 면에서 많은 최신 방법론보다 우수하다는 것을 보여줍니다.