Selbst-entgiftete maskierte Auto-Encoder sind effiziente Video-Anomalie-Detektoren

Wir stellen ein effizientes Modell zur Erkennung von Anomalien vor, das auf einem leichten maskierten Autoencoder (AE) basiert und auf Frame-Ebene in Videos angewendet wird. Die Neuheit des vorgeschlagenen Modells ist dreifach. Erstens führen wir einen Ansatz zur Gewichtung von Tokens basierend auf Bewegungsgradienten ein, wodurch der Fokus von der statischen Hintergrundszene auf die Vordergrundobjekte verlagert wird. Zweitens integrieren wir einen Lehrer-Decoder und einen Schüler-Decoder in unsere Architektur und nutzen die Diskrepanz zwischen den Ausgaben beider Decoder, um die Anomalieerkennung zu verbessern. Drittens generieren wir synthetische Anomalien, um die Trainingsvideos zu erweitern, und verpflichten den maskierten AE-Modell, sowohl die ursprünglichen Frames (ohne Anomalien) als auch die entsprechenden pixelgenauen Anomaliekarten gemeinsam wiederherzustellen. Unser Entwurf führt zu einem effizienten und leistungsfähigen Modell, wie umfangreiche Experimente an vier Benchmarks – Avenue, ShanghaiTech, UBnormal und UCSD Ped2 – belegen. Die empirischen Ergebnisse zeigen, dass unser Modell ein hervorragendes Verhältnis zwischen Geschwindigkeit und Genauigkeit erreicht und wettbewerbsfähige AUC-Scores erzielt, während es mit 1655 FPS verarbeitet wird. Damit ist unser Modell zwischen acht und siebzig Mal schneller als konkurrierende Methoden. Wir führen außerdem eine Ablation Study durch, um unsere Designentscheidungen zu begründen. Unser Quellcode ist frei verfügbar unter: https://github.com/ristea/aed-mae.