Détection Multimodale des Anomalies Industrielles par Fusion Hybride

La détection d'anomalies industrielles basée sur 2D a été largement discutée, cependant, la détection d'anomalies industrielles multimodale basée sur des nuages de points 3D et des images RGB reste un domaine peu exploré. Les méthodes existantes de détection d'anomalies industrielles multimodales concatènent directement les caractéristiques multimodales, ce qui entraîne une forte interférence entre les caractéristiques et nuit aux performances de détection. Dans cet article, nous proposons Multi-3D-Memory (M3DM), une nouvelle méthode de détection d'anomalies multimodales avec un schéma de fusion hybride : premièrement, nous concevons une fusion de caractéristiques non supervisée avec un apprentissage par contraste par patch pour encourager l'interaction des caractéristiques modales différentes ; deuxièmement, nous utilisons une fusion au niveau de la couche décisionnelle avec plusieurs banques mémoire pour éviter la perte d'information et des classifieurs de nouveauté supplémentaires pour prendre la décision finale. Nous proposons également une opération d'alignement des caractéristiques ponctuelles pour mieux aligner les caractéristiques du nuage de points et celles des images RGB. De nombreuses expériences montrent que notre modèle de détection d'anomalies industrielles multimodales surpasses les méthodes les plus avancées (SOTA) en termes de précision de détection et de segmentation sur le jeu de données MVTec-3D AD. Le code est disponible à l'adresse suivante : https://github.com/nomewang/M3DM.