Transformaly – Zwei (Merkmalsräume) sind besser als einer

Anomalieerkennung ist ein etablierter Forschungsbereich, der darauf abzielt, Proben außerhalb einer vorbestimmten Verteilung zu identifizieren. Ein Anomalieerkennungspipeline besteht aus zwei Hauptphasen: (1) Merkmalsextraktion und (2) Zuweisung eines Normalitäts-Scores. In jüngsten Arbeiten wurden vortrainierte Netzwerke zur Merkmalsextraktion eingesetzt, wodurch state-of-the-art-Ergebnisse erzielt wurden. Allerdings wird die verfügbare Menge an normalen Trainingsbeispielen bei der Nutzung vortrainierter Netzwerke nicht vollständig ausgenutzt. In dieser Arbeit wird vorgeschlagen, diese Information durch den Einsatz eines Lehrer-Schüler-Trainings zu nutzen. In unserer Anordnung dient ein vortrainiertes Lehrernetzwerk dazu, ein Schülernetzwerk ausschließlich auf normalen Trainingsbeispielen zu trainieren. Da das Schülernetzwerk nur auf normalen Beispielen trainiert wird, wird erwartet, dass es sich in abnormalen Fällen vom Lehrernetzwerk unterscheidet. Diese Differenz kann als ergänzende Darstellung gegenüber dem vortrainierten Merkmalsvektor dienen. Unsere Methode – Transformaly – nutzt einen vortrainierten Vision Transformer (ViT), um sowohl die vortrainierten (verallgemeinerten) Merkmale als auch die Lehrer-Schüler-(feinabgestimmten) Merkmale zu extrahieren. Wir berichten über state-of-the-art-AUROC-Ergebnisse sowohl im gängigen einmodalen Szenario, bei dem eine Klasse als normal und alle anderen als abnormal betrachtet werden, als auch im multimodalen Szenario, bei dem alle Klassen außer einer als normal gelten und nur eine Klasse als abnormal angesehen wird. Der Quellcode ist unter https://github.com/MatanCohen1/Transformaly verfügbar.