Look Around for Anomalies: Schwach beschriftete Anomalieerkennung durch Kontext-Bewegungs-Beziehungslernen

Schwach beschriftete Video-Anomalieerkennung ist die Aufgabe, frameweise Anomalien unter Verwendung von video-level beschrifteten Trainingsdaten zu detektieren. Es ist schwierig, klassenrepräsentative Merkmale unter minimaler Aufsicht durch schwache Labels zu erfassen, insbesondere wenn nur ein einzelner Backbone-Verzweigungsast verwendet wird. Darüber hinaus ist in realen Szenarien die Grenze zwischen normalen und abnormalen Ereignissen oft unscharf und hängt vom Kontext ab. Zum Beispiel kann dieselbe Bewegung eines laufenden Menschen je nach Umgebung – ob ein Spielplatz oder eine Straße – als abnormal angesehen werden. Unser Ziel ist daher, diskriminative Merkmale durch Vergrößerung der relativen Distanz zwischen den Merkmalen verschiedener Klassen aus einem einzigen Verzweigungsast zu extrahieren. Im vorgeschlagenen Ansatz „Class-Activate Feature Learning (CLAV)“ werden Merkmale basierend auf implizit aktivierten Gewichten je nach Klasse extrahiert, und die Distanz zwischen den Klassen wird anschließend durch relative Distanz-Lernverfahren vergrößert. Zudem ist die Beziehung zwischen Kontext und Bewegung entscheidend, um Anomalien in komplexen und vielfältigen Szenen zu erkennen. Daher schlagen wir ein „Context–Motion Interrelation Module (CoMo)“ vor, das die Beziehung zwischen der visuellen Beschaffenheit der Umgebung und der Bewegung modelliert, anstatt lediglich auf zeitliche Abhängigkeiten oder reinen Bewegungsinformationen zu basieren. Die vorgeschlagene Methode erreicht SOTA-Leistung auf vier Benchmarks, einschließlich großskaliger realer Datensätze, und wir zeigen durch qualitative Analyse und Untersuchung der Generalisierungsfähigkeit die Bedeutung relationaler Informationen.