Apprentissage d'une correspondance de caractéristiques profondes pour la détection et la segmentation d'anomalies non supervisées

Le développement de modèles d’apprentissage automatique capables de détecter et de localiser des structures inattendues ou anormales dans les images est d’une importance capitale pour de nombreuses tâches de vision par ordinateur, telles que l’inspection des défauts dans les produits manufacturés. Toutefois, ce défi reste particulièrement ardu lorsque très peu, voire aucune, image anormale n’est disponible pour l’entraînement. Dans cet article, nous proposons un mécanisme non supervisé, nommé correspondance de caractéristiques profondes (deep feature correspondence, DFC), qui peut être efficacement exploité pour détecter et segmenter les anomalies dans les images à partir uniquement des connaissances a priori issues d’échantillons d’images normaux. Notre approche DFC repose sur un cadre à réseau dual asymétrique composé d’un réseau généraliste d’extraction de caractéristiques et d’un réseau spécialisé d’estimation de caractéristiques, permettant de détecter les anomalies potentielles en modélisant et en évaluant la correspondance de caractéristiques profondes associée entre les deux branches du réseau dual. Par ailleurs, afin d’améliorer la robustesse de la DFC et d’optimiser davantage ses performances, nous proposons spécifiquement une stratégie d’amélioration auto-contrôlée des caractéristiques (self-feature enhancement, SFE) ainsi qu’un module de réseau d’apprentissage résiduel à multi-contexte (multi-context residual learning, MCRL). Des expériences étendues ont été menées pour valider l’efficacité de notre DFC ainsi que des stratégies SFE et MCRL proposées. Notre méthode s’avère particulièrement performante pour la détection et la segmentation d’anomalies localisées dans des régions restreintes des images, en particulier dans le contexte industriel. Elle améliore significativement les performances de l’état de l’art sur le jeu de données de référence MVTec AD. En outre, lorsqu’appliquée à un scénario réel d’inspection industrielle, elle surpasser largement les méthodes de comparaison.