
知識蒸留(Knowledge Distillation, KD)は、教師なし異常検出(Anomaly Detection, AD)において有望なアプローチです。しかし、生徒ネットワークの過度な一般化により、教師と生徒の間で異常領域における重要な表現の違いがしばしば薄れてしまい、検出に失敗することがあります。この問題に対処するために、広く受け入れられている逆蒸留(Reverse Distillation, RD)パラダイムでは、非対称的な教師と生徒を設計し、エンコーダーを教師として、デコーダーを生徒として使用します。しかしながら、RDの設計は教師エンコーダーが正常な特徴と異常な特徴を効果的に区別することや、生徒デコーダーが異常のない特徴を生成することを保証していません。さらに、スキップ接続がないため、特徴再構築中に細部の情報が失われることがあります。これらの課題を解決するため、我々は専門家付き逆蒸留(RD with Expert)を提案します。この方法では、新しい専門家-教師-生徒ネットワークを導入し、教師エンコーダーと生徒デコーダーの両方の同時蒸留を行います。追加された専門家ネットワークは、生徒が正常な特徴を生成する能力を向上させるとともに、教師が正常な特徴と異常な特徴との差異を見分ける能力を最適化し、見落とし検出を減らします。また、ガイダンス情報注入(Guided Information Injection)という手法が設計され、教師から生徒への特徴のフィルタリングと転送を行い、詳細再構築の改善と偽陽性の最小化を目指しています。いくつかのベンチマークでの実験結果は、我々の方法が既存の教師なしAD手法の中でRDパラダイムに基づくものよりも優れていることを示しており、RDの潜在力を完全に引き出すことに成功しています。