多モーダル産業異常検知のためのハイブリッド融合

2Dベースの産業異常検出は広く議論されてきましたが、3D点群とRGB画像に基づくマルチモーダル産業異常検出には未開拓の分野が多く存在しています。既存のマルチモーダル産業異常検出手法では、直接的にマルチモーダル特徴量を連結するため、特徴量間の強い干渉が生じ、検出性能に悪影響を及ぼします。本論文では、ハイブリッド融合スキームを持つ新しいマルチモーダル異常検出手法であるMulti-3D-Memory (M3DM)を提案します。まず、パッチ単位の対比学習による非監督特徴量融合を設計し、異なるモーダル特徴量の相互作用を促進します。次に、複数のメモリバンクを使用した決定層融合と追加的新規性分類器を使用して、情報の損失を避けつつ最終的な決定を行います。さらに、点群とRGB特徴量のより良いアライメントのために点特徴量アライメント操作を提案します。広範な実験結果から、提案したマルチモーダル産業異常検出モデルはMVTec-3D ADデータセットにおいて検出精度とセグメンテーション精度の両面で最先端（SOTA）手法を上回ることが示されました。コードはhttps://github.com/nomewang/M3DMで入手可能です。