DiAD : Un Cadre Basé sur la Diffusion pour la Détection d'Anomalies Multiclasse

Les approches basées sur la reconstruction ont obtenu des résultats remarquables dans la détection d'anomalies. Les capacités exceptionnelles de reconstruction d'images des modèles de diffusion récemment populaires ont suscité des efforts de recherche pour les utiliser afin d'améliorer la reconstruction d'images anormales. Néanmoins, ces méthodes peuvent rencontrer des défis liés à la préservation des catégories d'images et de l'intégrité structurelle au niveau des pixels dans le cadre plus pratique de la classification multiclasse. Pour résoudre ces problèmes, nous proposons un cadre de détection d'anomalies basé sur la diffusion (DiAD) pour la détection d'anomalies multiclasse, qui comprend un autoencodeur en espace pixel, un réseau sémantique guidé (SG) en espace latent connecté au réseau de débruitage de la diffusion stable, et un extracteur de caractéristiques pré-entraîné en espace de caractéristiques. Premièrement, le réseau SG est proposé pour reconstruire les régions anormales tout en préservant les informations sémantiques de l'image originale. Deuxièmement, nous introduisons un bloc de fusion spatiale des caractéristiques (SFF) pour maximiser la précision de la reconstruction lorsqu'il s'agit de zones largement reconstruites. Troisièmement, les images d'entrée et reconstruites sont traitées par un extracteur de caractéristiques pré-entraîné afin de générer des cartes d'anomalies basées sur les caractéristiques extraites à différentes échelles.Des expériences menées sur les jeux de données MVTec-AD et VisA ont démontré l'efficacité de notre approche, qui dépasse les méthodes actuelles les plus avancées, par exemple en atteignant 96,8/52,6 et 97,2/99,0 (AUROC/AP) respectivement pour la localisation et la détection sur le jeu de données MVTec-AD multiclasse. Le code sera disponible à l'adresse suivante : https://lewandofskee.github.io/projects/diad.