MuSc：ラベルなし画像の相互スコアリングを用いたゼロショット産業異常分類およびセグメンテーション

本稿では、産業用視覚におけるゼロショット異常分類（AC）および異常セグメンテーション（AS）について研究する。我々は、ラベルなしのテスト画像に内在する豊富な正常および異常の手がかりが、異常の判定に活用可能であることを明らかにしたが、従来の手法はこれを無視していた。本研究の重要な観察結果は、産業製品画像において、正常な画像パッチは他のラベルなし画像内において相対的に多数の類似パッチを発見できるのに対し、異常なパッチは類似するパッチがわずかであるという特徴である。この識別性の高い特徴を活用し、訓練やプロンプトを一切不要とする新しいゼロショットAC/AS手法「相互スコアリング（MuSc）」を提案する。具体的には、異常のサイズ変動に対応可能なパッチ特徴を取得するために、複数の次数を用いた局所近傍集約（LNAMD）を実施する。次に、ラベルなしテスト画像同士が互いに異常スコアを付与するための相互スコアリング機構（MSM）を提案する。さらに、正常画像内のノイズによる誤検出を抑制するため、画像レベルの異常分類を最適化する手法として、制約付き画像レベル近傍を用いた再スコアリング（RsCIN）を導入する。困難なMVTec ADおよびVisAデータセットにおける優れた性能により、本手法の有効性が実証された。最先端のゼロショット手法と比較して、MuScはMVTec ADでPROスコアにおいて21.1%の絶対的な向上（72.7% → 93.8%）、VisAではピクセル単位のAPで19.4%、AUROCで14.7%の向上を達成した。さらに、本ゼロショット手法は、多数の少サンプルアプローチを上回り、一部のワンクラス学習手法と同等の性能を示した。コードは以下のURLで公開されている：https://github.com/xrli-U/MuSc。