초록
본 논문에서는 라벨이 지정된 훈련 데이터의 비율이 매우 적은 준지도 학습 환경에서 깊은 신경망을 간단하고 효율적으로 훈련시키는 방법을 제시합니다. 우리는 자기 앙상블(self-ensembling) 기법을 소개하는데, 이는 훈련 중인 네트워크가 서로 다른 에포크(epoch)에서 출력한 결과를 이용하여 알려지지 않은 라벨에 대한 합의 예측을 형성하는 것입니다. 특히, 서로 다른 정규화(regularization) 및 입력 증강(input augmentation) 조건 하에서 수행됩니다. 이러한 앙상블 예측은 가장 최근의 훈련 에포크에서 네트워크가 출력한 결과보다 알려지지 않은 라벨에 대해 더 나은 예측자일 것으로 기대되며, 이를 통해 훈련 목표로 사용할 수 있습니다.우리의 방법을 사용하여 두 가지 표준 준지도 학습 벤치마크에서 새로운 기록을 세웠습니다. SVHN 데이터셋에서 500개의 라벨을 사용하여 (증강되지 않은) 분류 오류율을 18.44%에서 7.05%로 줄였으며, CIFAR-10 데이터셋에서 4000개의 라벨을 사용하여 18.63%에서 16.55%로 감소시켰습니다. 표준 증강 기법을 적용함으로써 이 값은 각각 5.12%와 12.16%까지 더욱 개선되었습니다. 또한, 훈련 과정에서 Tiny Images 데이터셋의 무작위 이미지를 비라벨 추가 입력으로 사용함으로써 CIFAR-100 분류 정확도에서도 명확한 개선을 얻었습니다. 마지막으로, 잘못된 라벨에 대한 우수한 내성을 보여주었습니다.