3D ResNet mit Ranking-Loss-Funktion zur Erkennung von abnormen Aktivitäten in Videos

Die Erkennung abnormer Aktivitäten stellt eine der anspruchsvollsten Aufgaben im Bereich des Computersehens dar. Diese Studie wird durch die jüngsten Fortschritte im Bereich der Erkennung abnormer Aktivitäten motiviert, bei denen sowohl normale als auch abnorme Videos im Lernprozess genutzt werden, um Anomalien mittels mehrstufiger Instanzlernverfahren (Multiple Instance Learning, MIL) zu erkennen, wobei die Daten mit videolevel-Informationen versehen werden. In Abwesenheit zeitlicher Annotationen neigt ein solches Modell dazu, Falschalarme zu generieren. Aus diesem Grund konzentriert sich dieser Artikel auf die Minimierung der Falschalarmrate bei der Erkennung abnormer Aktivitäten. Die Reduzierung solcher Falschalarme sowie die jüngsten Fortschritte in der Entwicklung von 3D-Tiefen neuronalen Netzen für die Aktionserkennung in Videos motivieren uns, den 3D-ResNet in unserem vorgeschlagenen Ansatz zu integrieren, um räumlich-zeitliche Merkmale aus Videos effektiv zu extrahieren. Anschließend nutzt unser Modell diese Merkmale zusammen mit einem tiefen Multiple Instance Learning-Ansatz sowie einer neu vorgeschlagenen Ranking-Verlustfunktion, um auf Segment-Ebene Abweichungsscores vorherzusagen. Dadurch erreicht unsere vorgeschlagene Methode, 3D Deep Multiple Instance Learning mit ResNet (MILR), in Kombination mit der neuen Ranking-Verlustfunktion die beste Leistung auf dem UCF-Crime-Benchmark-Datensatz im Vergleich zu anderen state-of-the-art-Methoden. Die Wirksamkeit unseres Ansatzes wird anhand des UCF-Crime-Datensatzes nachgewiesen.