要約
異常検出は、事前に定義された分布から外れるサンプルを特定することを目的とする、確立された研究分野である。異常検出パイプラインは、主に2つの段階から構成される：(1) 特徴抽出、および (2) 正常性スコアの付与。近年の研究では、事前学習済みネットワークを用いた特徴抽出により、最先端の性能が達成されている。しかし、事前学習済みネットワークの使用は、学習時に利用可能な正常サンプルの情報を十分に活用しているとは言えない。本論文では、教師-生徒学習（teacher-student training）を用いることで、この情報を有効活用することを提案する。本研究の設定では、事前学習済みの教師ネットワークを用いて、正常な学習サンプル上で生徒ネットワークを学習させる。生徒ネットワークは正常サンプルのみで学習されるため、異常なケースでは教師ネットワークから逸脱することが期待される。この差分は、事前学習済み特徴ベクトルに対する補完的な表現として機能する。本手法であるTransformalyは、事前学習済みのビジョン変換器（Vision Transformer: ViT）を活用し、2種類の特徴ベクトルを抽出する：事前学習済み（汎用的）な特徴と、教師-生徒学習により微調整された特徴。本手法は、単一モーダル設定（1つのクラスを正常とし、残りを異常とみなす）およびマルチモーダル設定（1つのクラスを異常とし、それ以外のすべてのクラスを正常とみなす）の両方において、最先端のAUROCスコアを達成した。コードは以下のURLから公開されている：https://github.com/MatanCohen1/Transformaly。