Segmenter toute anomalie sans entraînement grâce à une régularisation hybride de prompt

Nous présentons un cadre novateur, appelé Segment Any Anomaly + (SAA+), pour la segmentation d’anomalies en zéro-shot, basé sur une régularisation hybride par prompts afin d’améliorer l’adaptabilité des modèles fondamentaux modernes. Les modèles existants de segmentation d’anomalies dépendent généralement d’un fine-tuning spécifique au domaine, ce qui limite leur capacité de généralisation face à une infinité de types d’anomalies. Dans ce travail, inspirés par la remarquable capacité de généralisation en zéro-shot des modèles fondamentaux tels que Segment Anything, nous explorons d’abord leur assemblage afin d’exploiter diverses connaissances a priori multimodales pour la localisation des anomalies. Pour adapter sans paramètres les modèles fondamentaux à la segmentation d’anomalies, nous introduisons par ailleurs des prompts hybrides dérivés à la fois des connaissances d’experts du domaine et du contexte de l’image cible, utilisés comme régularisation. Le modèle SAA+ proposé atteint des performances de pointe sur plusieurs benchmarks de segmentation d’anomalies, notamment VisA, MVTec-AD, MTD et KSDD2, dans un cadre de zéro-shot. Le code sera publié à l’adresse suivante : \href{https://github.com/caoyunkang/Segment-Any-Anomaly}{https://github.com/caoyunkang/Segment-Any-Anomaly}.