要約
知識蒸留（Knowledge Distillation, KD）は、非教師付き異常検出（Anomaly Detection, AD）という困難な課題において、有望な成果を達成している。教師モデルと学生モデル（T-Sモデル）における異常の表現の乖離は、ADに有用な根拠を提供する重要な要素である。しかし、従来の研究では、教師モデルと学生モデルに類似または同一のアーキテクチャを用いることが多かったため、異常表現の多様性が制限されていた。この問題に対処するため、本研究では、教師エンコーダと学生デコーダから構成される新しいT-Sモデルを提案し、それに伴いシンプルかつ効果的な「逆蒸留（reverse distillation）」パラダイムを導入する。従来とは異なり、学生ネットワークは入力として生画像を直接受け取るのではなく、教師モデルが出力する1クラス埋め込み（one-class embedding）を入力とし、教師モデルのマルチスケール表現を再構成することを目的とする。本研究における知識蒸留は、抽象的で高レベルな表現から低レベルな特徴へと知識を伝達する構造を内包している。さらに、T-Sモデルに学習可能な1クラスブロッキング埋め込み（One-Class Bottleneck Embedding, OCBE）モジュールを導入した。得られたコンパクトな埋め込みは、正常パターンに関する本質的な情報を効果的に保持しつつ、異常ノイズを排除する特性を持つ。ADおよび1クラス新奇性検出（novelty detection）ベンチマークにおける広範な実験結果から、本手法が最先端（SOTA）の性能を上回ることが確認され、提案手法の有効性と汎用性が示された。