Ein Video-Anomalie-Erkennungsframework basierend auf der Konsistenz der Erscheinungs-Motion-Semantik-Darstellung

Die Video-Anomalieerkennung bezieht sich auf die Identifizierung von Ereignissen, die von dem erwarteten Verhalten abweichen. Aufgrund des Fehlens anormaler Proben im Trainingsdatensatz stellt die Video-Anomalieerkennung eine äußerst herausfordernde Aufgabe dar. Die meisten bestehenden Methoden folgen einem Rekonstruktions- oder Vorhersagemodus für zukünftige Frame. Diese Ansätze ignorieren jedoch die Konsistenz zwischen Erscheinungsbild- und Bewegungsinformationen von Proben, was ihre Leistungsfähigkeit bei der Anomalieerkennung einschränkt. Anomalien treten ausschließlich im bewegten Vordergrund von Überwachungsvideos auf; daher sollten die Semantik, die durch Video-Framesequenzen und optische Flussinformationen ohne Hintergrundinformationen in der Anomalieerkennung ausgedrückt wird, hochgradig konsistent und von entscheidender Bedeutung für die Erkennung von Anomalien sein. Ausgehend von dieser Idee schlagen wir einen Ansatz namens Appearance-Motion Semantics Representation Consistency (AMSRC) vor, einen Rahmen, der die Konsistenz der semantischen Repräsentation von Erscheinungsbild und Bewegung normaler Daten zur Lösung der Anomalieerkennung nutzt. Zunächst entwerfen wir einen zweistromigen Encoder, um die Repräsentationen von Erscheinungsbild- und Bewegungsinformationen normaler Proben zu kodieren, und führen zusätzliche Einschränkungen ein, um die Konsistenz der Merkmalssemantik zwischen Erscheinungsbild und Bewegung bei normalen Proben weiter zu stärken. Dadurch können anormale Proben, die eine geringe Konsistenz zwischen Erscheinungsbild- und Bewegungsmerkmalen aufweisen, identifiziert werden. Darüber hinaus kann die geringere Konsistenz der Erscheinungs- und Bewegungsmerkmale anormaler Proben genutzt werden, um vorhergesagte Frames mit größerem Rekonstruktionsfehler zu generieren, was die Erkennung von Anomalien erleichtert. Experimentelle Ergebnisse belegen die Wirksamkeit des vorgeschlagenen Verfahrens.