
딥 신경망은 주로 레이블링(annotation)이 풍부한 데이터에 의존한다는 점에서 잘 알려져 있다. 딥 네트워크를 사용할 때 레이블링 비용을 줄이기 위한 다양한 노력이 이루어져 왔다. 대표적인 두 가지 방향은 노이즈가 있는 레이블을 이용한 학습과, 미레이블링 데이터를 활용한 반감독 학습이다. 본 연구에서는 반감독 학습 기법을 활용하여 노이즈가 있는 레이블을 가진 데이터에서 학습할 수 있는 새로운 프레임워크인 DivideMix을 제안한다. 특히 DivideMix는 각 샘플의 손실 분포를 혼합 모델(mixture model)로 모델링하여, 훈련 데이터를 정확한 샘플로 구성된 레이블링된 데이터셋과 노이즈가 포함된 샘플로 구성된 미레이블링된 데이터셋으로 동적으로 분할하고, 이 두 데이터셋을 반감독 방식으로 동시에 활용하여 모델을 훈련한다. 확증 편향(confirmation bias)을 방지하기 위해, 서로 다른 두 개의 네트워크를 동시에 학습시키며, 각 네트워크는 다른 네트워크가 생성한 데이터 분할 결과를 사용한다. 반감독 훈련 단계에서는 MixMatch 전략을 개선하여, 레이블링된 샘플에 대해 레이블 공정화(label co-refinement)를, 미레이블링된 샘플에 대해 레이블 공추측(label co-guessing)을 각각 수행한다. 다양한 벤치마크 데이터셋에서의 실험 결과, 기존 최고 성능의 방법들에 비해 상당한 성능 향상이 확인되었다. 코드는 https://github.com/LiJunnan1992/DivideMix 에서 공개되어 있다.