초록
효과적인 컨벌루션 신경망은 대규모 라벨된 데이터셋에서 훈련됩니다. 그러나 대규모 라벨된 데이터셋을 생성하는 것은 매우 비용이 많이 들고 시간이 소요되는 작업입니다. 반감독 학습은 제한된 양의 라벨된 데이터가 있는 경우, 이를 사용하여 더 정확한 모델을 훈련시키는 방법으로, 라벨되지 않은 데이터를 활용합니다. 이 논문에서는 컨벌루션 신경망을 이용한 반감독 학습 문제를 다룹니다. 랜덤화된 데이터 증강(randomized data augmentation), 드롭아웃(dropout) 및 랜덤 맥스 풀링(random max-pooling) 등의 기술은 경사 하강법(gradient descent)을 사용하여 훈련된 분류기의 일반화와 안정성을 개선시킵니다. 이러한 기술들의 결정적이지 않은 특성 때문에, 네트워크를 통과하는 개별 샘플의 여러 패스가 서로 다른 예측 결과를 초래할 수 있습니다. 우리는 이러한 방법들의 확률적 성질을 활용하여, 네트워크를 통과하는 훈련 샘플의 여러 패스 간 예측 차이를 최소화하는 비지도 손실 함수(unsupervised loss function)를 제안합니다. 제안된 방법을 여러 벤치마크 데이터셋에서 평가하였습니다.