가상 적대적 훈련: 지도 학습과 준지도 학습을 위한 정규화 방법

우리는 입력에 주어진 조건부 라벨 분포의 국소 부드러움을 측정하는 새로운 방법인 가상 적대적 손실(virtual adversarial loss) 기반의 새로운 정규화 방법을 제안합니다. 가상 적대적 손실은 각 입력 데이터 포인트 주변에서 국소적인 변동에 대한 조건부 라벨 분포의 견고성을 정의합니다. 적대적 훈련과 달리, 우리의 방법은 라벨 정보 없이 적대적 방향을 정의하므로 준지도 학습(semi-supervised learning)에도 적용할 수 있습니다. 우리가 모델을 부드럽게 하는 방향이 단지 "가상" 적대적이기 때문에, 이 방법을 가상 적대적 훈련(virtual adversarial training, VAT)이라고 부릅니다. VAT의 계산 비용은 상대적으로 낮습니다. 신경망의 경우, 가상 적대적 손실의 근사 기울기는 두 번 이상의 순전파 및 역전파 연산 없이 계산할 수 있습니다. 실험에서는 여러 벤치마크 데이터셋에서 지도 학습 및 준지도 학습 작업에 VAT를 적용했습니다. 엔트로피 최소화 원칙에 기반한 알고리즘의 간단한 개선으로, 우리의 VAT는 SVHN 및 CIFAR-10에서 준지도 학습 작업에 대해 최신 성능을 달성했습니다.