APRIL-GAN: Eine Zero-/Few-Shot-Anomalieklassifizierung- und Segmentierungsmethode für den CVPR 2023 VAND Workshop Challenge Tracks 1 & 2: 1. Platz bei Zero-shot AD und 4. Platz bei Few-shot AD

In diesem technischen Bericht stellen wir kurz unsere Lösung für die Zero/Few-shot-Track der Visual Anomaly and Novelty Detection (VAND) 2023 Challenge vor. Für industrielle visuelle Inspektionsaufgaben stellt die Entwicklung eines einzigen Modells, das rasch auf zahlreiche Kategorien ohne oder mit nur wenigen normalen Referenzbildern angepasst werden kann, eine vielversprechende Forschungsrichtung dar. Dies liegt vor allem an der enormen Vielfalt an Produkttypen. Für die Zero-shot-Track präsentieren wir eine Lösung basierend auf dem CLIP-Modell, wobei zusätzliche lineare Schichten hinzugefügt werden. Diese Schichten dienen dazu, die Bildmerkmale in den gemeinsamen Einbettungsraum abzubilden, sodass sie mit den Textmerkmalen verglichen werden können, um Anomaliekarten zu generieren. Zusätzlich nutzen wir bei Verfügbarkeit von Referenzbildern mehrere Speicherbanken, um deren Merkmale zu speichern und diese während der Testphase mit den Merkmalen der Testbilder zu vergleichen. In dieser Challenge erreichte unsere Methode den ersten Platz in der Zero-shot-Track, wobei sie sich insbesondere bei der Segmentierung durch eine beeindruckende Verbesserung des F1-Scores um 0,0489 im Vergleich zum zweitplatzierten Teilnehmer hervortat. Darüber hinaus belegte unsere Methode in der Few-shot-Track insgesamt den vierten Platz, wobei unser Klassifikations-F1-Score von 0,8687 den höchsten Wert aller teilnehmenden Teams darstellte.