SAM-LAD : Modèle d'identification des segments rencontre la détection zéro-shot d'anomalies logiques

La détection d’anomalies visuelles est essentielle dans de nombreuses applications du monde réel, telles que la détection de défauts industriels ou le diagnostic médical. Toutefois, la plupart des méthodes existantes se concentrent sur les anomalies structurelles locales et échouent à détecter les anomalies fonctionnelles de haut niveau sous des conditions logiques. Bien que des études récentes aient exploré la détection d’anomalies logiques, celles-ci ne permettent de traiter que des anomalies simples, comme des éléments manquants ou ajoutés, et présentent une faible généralisation en raison de leur forte dépendance aux données. Pour combler cet écart, nous proposons SAM-LAD, un cadre zéro-shot et plug-and-play pour la détection d’anomalies logiques dans n’importe quelle scène. Tout d’abord, nous obtenons la carte de caractéristiques de l’image interrogée à l’aide d’un modèle pré-entraîné. Parallèlement, nous récupérons les images de référence et leurs cartes de caractéristiques correspondantes via une recherche des plus proches voisins basée sur l’image interrogée. Ensuite, nous introduisons le modèle Segment Anything Model (SAM) afin d’obtenir les masques d’objets pour les images interrogées et de référence. Chaque masque d’objet est multiplié par la carte de caractéristiques de l’image entière afin d’obtenir des cartes de caractéristiques d’objets. Par la suite, nous proposons un modèle de correspondance d’objets (Object Matching Model, OMM) pour établir des correspondances entre les objets présents dans l’image interrogée et ceux des images de référence. Pour faciliter cette correspondance, nous introduisons également un module de attention graphique à canaux dynamiques (Dynamic Channel Graph Attention, DCGA), qui traite chaque objet comme un point clé et transforme ses cartes de caractéristiques en vecteurs de caractéristiques. Enfin, à partir des relations de correspondance d’objets, nous proposons un modèle de mesure d’anomalie (Anomaly Measurement Model, AMM) capable de détecter les objets présentant des anomalies logiques, tout en permettant également la détection d’anomalies structurelles au sein des objets. Nous validons notre approche SAM-LAD sur divers benchmarks, incluant des jeux de données industriels (MVTec Loco AD, MVTec AD) ainsi que le jeu de données logique (DigitAnatomy). Les résultats expérimentaux étendus démontrent que SAM-LAD surpasser les méthodes de l’état de l’art existantes, notamment dans la détection d’anomalies logiques.