
単一クラスの新奇性検出(one-class novelty detection)とは、予期される正常なインスタンスと一致しない異常インスタンスを識別するタスクである。本論文では、エンコーダ・デコーダ・エンコーダ構造を採用した生成的対抗ネットワーク(Generative Adversarial Networks: GANs)を用いて検出を実施し、最先端の性能を達成している。しかし、深層ニューラルネットワークはリソース制約のあるデバイスへの展開に適さないほど過剰パラメータ化されている。そこで、コンパクトかつ高速な新奇性検出ネットワークの学習を可能とする、GANを活用したプログレッシブ知識蒸留(Progressive Knowledge Distillation with GANs: PKDGAN)を提案する。P-KDGANは、教師ネットワークから学生ネットワークへ知識を転移するための独自設計された蒸留損失によって、2つの標準的なGANを接続するという画期的なアプローチである。プログレッシブな知識蒸留は、学生GANの性能を継続的に向上させる二段階のアプローチであり、単一ステップ手法よりも優れた性能を達成する。第一段階では、固定された重みを持つ事前学習済み教師GANのガイドのもと、学生GANが教師GANから基本的な知識を完全に学習する。第二段階では、知識豊富な教師GANと学生GANを同時に微調整(joint fine-training)することで、さらなる性能向上と安定性の改善を図る。CIFAR-10、MNIST、FMNISTにおける実験結果から、それぞれ計算量を24.45:1、311.11:1、700:1の比率で圧縮した状態で、学生GANの性能が2.44%、1.77%、1.73%向上することが確認された。