SSMTL++: Selbstüberwachtes Mehraufgaben-Lernen für die Video-Anomalieerkennung neu betrachtet

Kürzlich wurde in der Literatur ein selbstüberwachtes Mehraufgaben-Lernframework (SSMTL) für die Anomalieerkennung in Videos vorgestellt. Aufgrund seiner hohen Genauigkeit hat die Methode das Interesse vieler Forscher geweckt. In dieser Arbeit revisiten wir das selbstüberwachte Mehraufgaben-Lernframework und schlagen mehrere Verbesserungen gegenüber der ursprünglichen Methode vor. Erstens untersuchen wir verschiedene Detektionsmethoden, beispielsweise basierend auf der Erkennung von hochbewegten Regionen mittels Optischer Flussanalyse oder Hintergrundsubtraktion, da wir der Ansicht sind, dass der derzeit verwendete vortrainierte YOLOv3 suboptimal ist – Objekte in Bewegung oder Objekte unbekannter Klassen werden nie erkannt. Zweitens modernisieren wir den 3D-Konvolutionellen Backbone, indem wir mehrköpfige Selbst-Attention-Module einführen, inspiriert durch den jüngsten Erfolg von Vision-Transformern. Hierbei stellen wir alternativ sowohl 2D- als auch 3D-Konvolutionelle Vision-Transformer-(CvT)-Blöcke vor. Drittens untersuchen wir im Bemühen, das Modell weiter zu verbessern, zusätzliche selbstüberwachte Lernaufgaben, wie beispielsweise die Vorhersage von Segmentierungskarten mittels Knowledge Distillation, das Lösen von Puzzles (Jigsaw-Puzzle), die Schätzung der Körperpose ebenfalls mittels Knowledge Distillation, die Vorhersage maskierter Bildregionen (Inpainting) sowie adversariales Lernen mit Pseudo-Anomalien. Wir führen Experimente durch, um den Einfluss der eingeführten Änderungen auf die Leistung zu bewerten. Nach der Identifizierung vielversprechender Konfigurationen des Frameworks, die wir SSMTL++v1 und SSMTL++v2 nennen, erweitern wir unsere vorläufigen Experimente auf weitere Datensätze und zeigen, dass unsere Leistungssteigerungen konsistent über alle Datensätze hinweg bestehen. In den meisten Fällen erreichen unsere Ergebnisse auf den Datensätzen Avenue, ShanghaiTech und UBnormal eine neue, bisher unerreichte Benchmark für den Stand der Technik.