Se souvenir de la normalité : distillation de connaissances guidée par la mémoire pour la détection d’anomalies non supervisée

La distillation de connaissances (KD) a été largement explorée dans le domaine de la détection d’anomalies non supervisée (AD). Dans ce cadre, le modèle étudiant est censé produire continuellement des représentations des motifs typiques présents dans les données d’entraînement, qualifiés de « normalité », tandis que les écarts entre les représentations du modèle enseignant et celles du modèle étudiant sont identifiés comme anormaux. Toutefois, cette approche souffre d’un problème connu sous le nom de « perte de normalité » (normality forgetting). En effet, bien que formé sur des données exemptes d’anomalies, le modèle étudiant parvient encore à reconstruire fidèlement des représentations anormales pour les anomalies, tout en étant sensible aux détails fins présents dans les données normales, qui sont également présents dans les données d’entraînement. Pour atténuer ce problème, nous proposons un nouveau cadre de distillation de connaissances guidé par une mémoire, appelé MemKD, qui module de manière adaptative la normalité des caractéristiques produites par le modèle étudiant lors de la détection d’anomalies. Plus précisément, nous introduisons tout d’abord une mémoire de rappel de normalité (NR Memory), destinée à renforcer la normalité des caractéristiques générées par le modèle étudiant en rappelant les informations normales stockées. Ainsi, les représentations ne présentent plus d’anomalies, et les détails fins sont correctement capturés. Ensuite, nous mettons en œuvre une stratégie d’apprentissage d’encodage de normalité afin d’améliorer l’apprentissage d’information par la NR Memory. Cette stratégie consiste à construire un ensemble d’exemples normaux, permettant à la NR Memory de mémoriser les connaissances a priori contenues dans les données exemptes d’anomalies, puis de les rappeler à partir des caractéristiques d’interrogation. Des expériences approfondies sur cinq benchmarks — MVTec AD, VisA, MPDD, MVTec 3D-AD et Eyecandies — démontrent que le cadre MemKD atteint des résultats prometteurs.