Selbstüberwachtes maskiertes konvolutionales Transformer-Block-Modell für die Anomalieerkennung

Die Anomalieerkennung hat in der jüngeren Vergangenheit zunehmend an Aufmerksamkeit in der Computer Vision gewonnen, vermutlich aufgrund ihres breiten Anwendungsspektrums, das von der Erkennung von Produktfehlern in industriellen Fertigungsprozessen und der Vorhersage von Ereignissen in der Videoüberwachung bis hin zur Identifikation von Läsionen in medizinischen Bildern reicht. Unabhängig vom Anwendungsgebiet wird die Anomalieerkennung typischerweise als One-Class-Klassifikationsaufgabe formuliert, bei der das Lernen ausschließlich anhand normaler Beispiele erfolgt. Eine ganze Reihe erfolgreicher Ansätze zur Anomalieerkennung basiert auf dem Lernen der Rekonstruktion maskierter normaler Eingaben (z. B. Bildpatchs, zukünftige Frames) und der Nutzung der Größe des Rekonstruktionsfehlers als Indikator für das Ausmaß der Anomalie. Im Gegensatz zu anderen rekonstruktionsbasierten Methoden stellen wir einen neuartigen selbstüberwachten maskierten convolutionalen Transformer-Block (SSMCTB) vor, der die Rekonstruktionsfunktionalität auf einer grundlegenden architektonischen Ebene integriert. Der vorgeschlagene selbstüberwachte Block ist äußerst flexibel und ermöglicht die Maskierung von Informationen an beliebigen Schichten eines neuronalen Netzes, wobei er mit einer Vielzahl unterschiedlicher neuronaler Architekturen kompatibel ist. In dieser Arbeit erweitern wir unseren vorherigen selbstüberwachten prädiktiven convolutionalen Aufmerksamkeitsblock (SSPCAB) um eine 3D-maskierte convolutionale Schicht, einen Transformer zur kanalweisen Aufmerksamkeit sowie ein neuartiges selbstüberwachtes Ziel, das auf der Huber-Verlust-Funktion basiert. Darüber hinaus zeigen wir, dass unser Block auf eine breitere Palette von Aufgaben anwendbar ist, indem wir die Anomalieerkennung in medizinischen Bildern und thermischen Videos zusätzlich zu den zuvor betrachteten Aufgaben basierend auf RGB-Bildern und Überwachungsvideos einbeziehen. Die Allgemeingültigkeit und Flexibilität des SSMCTB demonstrieren wir durch dessen Integration in mehrere state-of-the-art-Neural-Netzwerke für die Anomalieerkennung, wobei empirische Ergebnisse erbracht werden, die erhebliche Leistungsverbesserungen auf fünf Benchmarks belegen. Wir stellen unseren Code und die Daten als Open-Source unter folgender Adresse zur Verfügung: https://github.com/ristea/ssmctb.