トレーニングなしでハイブリッドプロンプト正則化を用いた任意の異常のセグメンテーション

本稿では、現代の基礎モデル（foundation model）の汎化能力を向上させるために、ハイブリッドプロンプト正則化を用いたゼロショット異常セグメンテーションのための新規フレームワーク、すなわち「Segment Any Anomaly +（SAA+）」を提案する。既存の異常セグメンテーションモデルは、通常、ドメイン特有の微調整（fine-tuning）に依存しており、多様な異常パターンへの一般化能力に制限がある。本研究では、Segment Anythingなどの基礎モデルが示す優れたゼロショット一般化能力に着想を得て、異常局在のための多様なマルチモーダル事前知識を活用するモデルの統合を最初に検討した。さらに、パラメータを持たない基礎モデルを異常セグメンテーションに適応させるために、ドメイン専門家の知識とターゲット画像のコンテキストから導出されたハイブリッドプロンプトを正則化項として導入した。提案するSAA+モデルは、VisA、MVTec-AD、MTD、KSDD2など、複数の異常セグメンテーションベンチマークにおいて、ゼロショット設定で最先端の性能を達成した。コードは、\href{https://github.com/caoyunkang/Segment-Any-Anomaly}{https://github.com/caoyunkang/Segment-Any-Anomaly} にて公開する予定である。