HyperAIHyperAI

Command Palette

Search for a command to run...

Se souvenir de la normalité : distillation de connaissances guidée par la mémoire pour la détection d’anomalies non supervisée

Lizhuang Ma Guannan Jiang Annan Shu Chengjie Wang Yabiao Wang Jiangning Zhang Ran Yi Xu Chen Liang Liu Zhihao Gu

Résumé

La distillation de connaissances (KD) a été largement explorée dans le domaine de la détection d’anomalies non supervisée (AD). Dans ce cadre, le modèle étudiant est censé produire continuellement des représentations des motifs typiques présents dans les données d’entraînement, qualifiés de « normalité », tandis que les écarts entre les représentations du modèle enseignant et celles du modèle étudiant sont identifiés comme anormaux. Toutefois, cette approche souffre d’un problème connu sous le nom de « perte de normalité » (normality forgetting). En effet, bien que formé sur des données exemptes d’anomalies, le modèle étudiant parvient encore à reconstruire fidèlement des représentations anormales pour les anomalies, tout en étant sensible aux détails fins présents dans les données normales, qui sont également présents dans les données d’entraînement. Pour atténuer ce problème, nous proposons un nouveau cadre de distillation de connaissances guidé par une mémoire, appelé MemKD, qui module de manière adaptative la normalité des caractéristiques produites par le modèle étudiant lors de la détection d’anomalies. Plus précisément, nous introduisons tout d’abord une mémoire de rappel de normalité (NR Memory), destinée à renforcer la normalité des caractéristiques générées par le modèle étudiant en rappelant les informations normales stockées. Ainsi, les représentations ne présentent plus d’anomalies, et les détails fins sont correctement capturés. Ensuite, nous mettons en œuvre une stratégie d’apprentissage d’encodage de normalité afin d’améliorer l’apprentissage d’information par la NR Memory. Cette stratégie consiste à construire un ensemble d’exemples normaux, permettant à la NR Memory de mémoriser les connaissances a priori contenues dans les données exemptes d’anomalies, puis de les rappeler à partir des caractéristiques d’interrogation. Des expériences approfondies sur cinq benchmarks — MVTec AD, VisA, MPDD, MVTec 3D-AD et Eyecandies — démontrent que le cadre MemKD atteint des résultats prometteurs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp