Selbstüberwachte spärliche Darstellung für die Video-Anomalieerkennung

Die Video-Anomalieerkennung (VAD) zielt darauf ab, unerwartete Aktionen oder Aktivitäten in einer Videosequenz zu lokalisieren. Bestehende etablierte VAD-Methoden basieren entweder auf der One-Class-Formulierung, bei der angenommen wird, dass alle Trainingsdaten normal sind, oder auf schwach beschrifteten Ansätzen, die lediglich videobasierte Normal-/Anomalietags erfordern. Um einen einheitlichen Ansatz zur Lösung beider VAD-Szenarien zu etablieren, führen wir einen selbstüberwachten sparsamen Repräsentationsrahmen (S3R) ein, der das Konzept der Anomalie auf Merkmalsebene modelliert, indem die Synergie zwischen dictionary-basierter Repräsentation und selbstüberwachtem Lernen genutzt wird. Mit dem gelernten Dictionary ermöglicht S3R zwei gekoppelte Module, en-Normal und de-Normal, die Rekonstruktion von Snippet-level-Merkmalen und die Filterung normaler Ereignismerkmale. Zudem ermöglichen die selbstüberwachten Techniken die Generierung von Pseudodaten für normale und anormale Ereignisse, um den Anomalie-Detektor zu trainieren. In umfangreichen Experimenten zeigen wir, dass S3R sowohl für One-Class- als auch für schwach beschriftete VAD-Aufgaben neue State-of-the-Art-Ergebnisse auf gängigen Benchmark-Datensätzen erzielt. Der Quellcode ist öffentlich unter https://github.com/louisYen/S3R verfügbar.