
일종의 이상 탐지(one-class novelty detection)는 예상되는 정상 샘플에 부합하지 않는 이상 샘플을 식별하는 것을 목표로 한다. 본 논문에서는 인코더-디코더-인코더 구조를 기반으로 한 생성적 적대 신경망(GANs)을 활용하여 이상 탐지 작업을 수행하였으며, 기존 최고 성능(state-of-the-art)을 달성하였다. 그러나 깊은 신경망은 자원 제한된 장치에 배포하기에 과도하게 파라미터 수가 많아 문제를 야기한다. 이를 해결하기 위해, 컴팩트하고 빠른 이상 탐지 네트워크를 학습하기 위한 점진적 지식 증류 기법을 활용한 GAN 기반 방법(PKDGAN: Progressive Knowledge Distillation with GANs)을 제안한다. P-KDGAN은 교사(GAN)에서 학생(GAN)으로 지식을 전달하기 위해 설계된 증류 손실(loss)을 통해 두 개의 표준 GAN을 연결하는 새로운 시도이다. 점진적 지식 증류는 성능을 지속적으로 향상시키는 이단계적 접근 방식으로, 단일 단계 방법보다 더 우수한 성능을 달성한다. 첫 번째 단계에서는 고정된 가중치를 갖는 사전 훈련된 교사 GAN의 지도 하에, 학생 GAN이 교사로부터 기초적인 지식을 완전히 학습한다. 두 번째 단계에서는 지식이 풍부한 교사 GAN과 학생 GAN을 함께 미세 조정(fine-training)함으로써 성능과 안정성을 추가로 향상시킨다. CIFAR-10, MNIST, FMNIST 데이터셋에 대한 실험 결과, 각각 24.45:1, 311.11:1, 700:1의 계산량 압축 비율에서 학생 GAN의 성능이 각각 2.44%, 1.77%, 1.73% 향상됨을 확인하였다.