Perte contrastive décalée en moyenne pour la détection d'anomalies

Les méthodes d’analyse d’anomalies profondes apprennent des représentations qui séparent efficacement les images normales des images anormales. Bien que l’apprentissage non supervisé par représentation soit couramment utilisé, la taille réduite des jeux de données limite son efficacité. Il a été précédemment démontré qu’utiliser des jeux de données externes génériques (par exemple, ImageNet pour la classification) peut considérablement améliorer les performances de détection d’anomalies. Une approche courante, l’exposition aux valeurs aberrantes (outlier exposure), échoue lorsque les jeux de données externes ne ressemblent pas aux anomalies. Nous adoptons une autre stratégie : le transfert de représentations pré-entraînées sur des jeux de données externes pour la détection d’anomalies. Les performances peuvent être nettement améliorées en affinant ces représentations pré-entraînées sur les images normales du jeu d’entraînement. Dans cet article, nous démontrons et analysons d’abord que l’apprentissage contrastif, le paradigme d’apprentissage non supervisé le plus populaire, ne peut pas être appliqué de manière naïve aux caractéristiques pré-entraînées. La raison en est que l’initialisation des caractéristiques pré-entraînées conduit à une mauvaise conditionnement des objectifs contrastifs standards, entraînant des dynamiques d’optimisation défavorables. À partir de cette analyse, nous proposons une version modifiée de l’objectif contrastif, appelée Mean-Shifted Contrastive Loss. Notre méthode s’avère extrêmement efficace et atteint un nouveau record d’état de l’art en détection d’anomalies, avec un taux ROC-AUC de 98,6 % sur le jeu de données CIFAR-10.