Schwach beschriftete Video-Anomalieerkennung mit robuster zeitlicher Merkmalsstärke-Lernung

Die Anomalieerkennung mit schwach beschrifteten Video-Level-Labels wird typischerweise als ein Multiple-Instance-Learning-(MIL)-Problem formuliert, bei dem versucht wird, Ausschnitte zu identifizieren, die anomale Ereignisse enthalten, wobei jedes Video als eine Menge („Bag“) von Video-Ausschnitten dargestellt wird. Obwohl aktuelle Methoden eine effektive Erkennungsleistung zeigen, ist ihre Erkennung der positiven Instanzen – also seltener anormaler Ausschnitte in anormalen Videos – stark durch die dominierenden negativen Instanzen beeinflusst, insbesondere dann, wenn die anormalen Ereignisse subtile Anomalien darstellen, die sich nur geringfügig von normalen Ereignissen unterscheiden. Dieses Problem verstärkt sich bei vielen Methoden, die wichtige zeitliche Abhängigkeiten innerhalb von Videos ignorieren. Um dieses Problem anzugehen, stellen wir eine neuartige und theoretisch fundierte Methode namens Robust Temporal Feature Magnitude Learning (RTFM) vor, die eine Funktion zur Lernung der Merkmalsgröße trainiert, um die positiven Instanzen effektiv zu erkennen und die Robustheit des MIL-Ansatzes gegenüber negativen Instanzen aus anormalen Videos erheblich zu verbessern. Zudem integriert RTFM erweiterte Faltungsoperationen (dilated convolutions) und Selbst-Attention-Mechanismen, um sowohl lang- als auch kurzfristige zeitliche Abhängigkeiten präziser zu erfassen und die Lernung der Merkmalsgröße verlässlicher zu gestalten. Umfangreiche Experimente zeigen, dass das mit RTFM verbesserte MIL-Modell (i) auf vier etablierten Benchmark-Datensätzen (ShanghaiTech, UCF-Crime, XD-Violence und UCSD-Peds) mehrere state-of-the-art-Methoden deutlich übertrifft und (ii) eine signifikant verbesserte Fähigkeit zur Unterscheidung subtiler Anomalien sowie eine höhere Stichproben-Effizienz erreicht. Der Quellcode ist unter https://github.com/tianyu0207/RTFM verfügbar.