Pré-entraînement auto-supervisé Spot-the-Difference pour la détection et la segmentation d'anomalies

La détection d’anomalies visuelles est couramment utilisée dans les contrôles qualité industriels. Dans cet article, nous présentons un nouveau jeu de données ainsi qu’une nouvelle méthode d’apprentissage auto-supervisé pour le pré-entraînement sur ImageNet, visant à améliorer la détection et la segmentation d’anomalies dans des configurations d’apprentissage à 1 classe, 2 classes, et avec des échantillons en faible (5/10) ou grand nombre (high-shot). Nous mettons à disposition le jeu de données Visual Anomaly (VisA), composé de 10 821 images couleur haute résolution (9 621 échantillons normaux et 1 200 anormaux), couvrant 12 objets répartis sur 3 domaines, ce qui en fait le plus grand jeu de données de détection d’anomalies industriel à ce jour. Des étiquettes au niveau image et au niveau pixel sont fournies. Nous proposons également un nouveau cadre d’apprentissage auto-supervisé, nommé SPot-the-difference (SPD), qui permet de régulariser les méthodes de pré-entraînement auto-supervisé par contraste, telles que SimSiam, MoCo et SimCLR, afin de les rendre plus adaptées aux tâches de détection d’anomalies. Nos expériences sur les jeux de données VisA et MVTec-AD montrent que SPD améliore de manière cohérente ces bases de pré-entraînement par contraste, voire même l’apprentissage supervisé. Par exemple, SPD améliore de 5,9 % et 6,8 % respectivement le score AUC-PR (aire sous la courbe précision-rappel) pour la segmentation d’anomalies par rapport à SimSiam et à l’apprentissage supervisé dans le cadre 2 classes avec grand nombre d’échantillons. Le projet est mis à disposition en open source à l’adresse http://github.com/amazon-research/spot-diff.