공동 교육: 극도로 노이즈가 많은 라벨을 사용한 딥 뉴럴 네트워크의 강건한 훈련

노이즈 라벨을 사용한 딥러닝은 실제적으로 도전적이다. 이는 딥 모델의 용량이 매우 높아서 훈련 중에 결국에는 이러한 노이즈 라벨을 완전히 기억할 수 있기 때문이다. 그럼에도 불구하고, 최근 딥 신경망의 기억 효과에 대한 연구들은 청정 라벨을 가진 훈련 데이터를 먼저 기억하고, 그 다음에 노이즈 라벨을 가진 데이터를 기억한다는 점을 보여주었다. 따라서 본 논문에서는 노이즈 라벨과 대처하기 위한 새로운 딥러닝 패러다임인 Co-teaching(공동교수)을 제안한다. 즉, 두 개의 딥 신경망을 동시에 훈련시키고, 각 미니 배치에서 서로에게 가르침을 주도록 한다: 첫째, 각 네트워크는 모든 데이터를 전방향으로 처리하고 청정 라벨일 가능성이 있는 일부 데이터를 선택한다; 둘째, 두 네트워크는 이 미니 배치에서 어떤 데이터가 훈련에 사용되어야 하는지 서로 의사소통한다; 셋째, 각 네트워크는 상대 네트워크가 선택한 데이터를 역전파하여 자신을 업데이트한다. MNIST, CIFAR-10 및 CIFAR-100의 노이즈 버전에 대한 경험적 결과는 Co-teaching이 훈련된 딥 모델의 강건성 면에서 최신 기법들보다 크게 우월함을 보여준다.