3ヶ月前

ノーマルリティの記憶:記憶誘導型知識蒸留を用いた教師なし異常検出

{Lizhuang Ma, Guannan Jiang, Annan Shu, Chengjie Wang, Yabiao Wang, Jiangning Zhang, Ran Yi, Xu Chen, Liang Liu, Zhihao Gu}
ノーマルリティの記憶:記憶誘導型知識蒸留を用いた教師なし異常検出
要約

知識蒸留(Knowledge Distillation, KD)は、非教師付き異常検出(Anomaly Detection, AD)において広く研究されている。この手法では、学生モデル(student)が訓練データ内の典型的なパターンを継続的に表現すると仮定され、これを「正常性(normality)」と呼ぶ。一方で、教師モデルと学生モデルの表現の乖離が異常と識別される。しかし、このアプローチは「正常性の忘却(normality forgetting)」という問題を抱えている。異常を含まないデータで訓練された学生モデルは、依然として異常なパターンを良好に再構成でき、正常データに存在する微細なパターンに対しても敏感である。これは、訓練データ内に同様のパターンが存在するためである。この問題を緩和するために、本研究では異常検出における学生特徴の正常性を適応的に制御する新たなメモリ駆動型知識蒸留(Memory-guided Knowledge Distillation, MemKD)フレームワークを提案する。具体的には、まず、保存された正常情報の再考(recall)を通じて、学生モデルが生成する特徴の正常性を強化する「正常性再考メモリ(Normality Recall Memory, NR Memory)」を導入する。これにより、異常な表現が出現せず、微細なパターンも適切に表現される。さらに、NR Memoryの情報学習を促進するため、正常例の埋め込み学習戦略を採用する。この戦略では、正常な例(normal exemplar)の集合を構築し、NR Memoryが異常を含まないデータから事前知識を記憶し、クエリ特徴からその知識を後から再考できるようにする。広範な実験の結果、提案するMemKDは、MVTec AD、VisA、MPDD、MVTec 3D-AD、Eyecandiesの5つのベンチマークにおいて、優れた性能を達成することが確認された。