Effizientes Zweikanal-Netzwerk zur Gewaltdetektion unter Verwendung von separierbaren konvolutionellen LSTM

Die automatische Erkennung von Gewalt in Überwachungsvideos ist ein Teilgebiet der Aktivitäts-Erkennung, das aufgrund ihrer breiten Anwendbarkeit in unbemannten Sicherheitssystemen, der Filterung von Internet-Videos und ähnlichen Bereichen besondere Aufmerksamkeit verdient. In dieser Arbeit stellen wir eine effiziente zweistromige tiefen Lernarchitektur vor, die auf separabler faltender LSTM (SepConvLSTM) und vortrainiertem MobileNet basiert. Ein Strom verarbeitet hintergrundunterdrückte Frames als Eingaben, während der andere Strom die Differenz aufeinanderfolgender Frames analysiert. Wir nutzen einfache und schnelle Vorverarbeitungstechniken, die bewegte Objekte in den Bildern hervorheben, indem sie den nicht bewegten Hintergrund unterdrücken und die Bewegung zwischen den Frames erfassen. Da gewalttätige Handlungen hauptsächlich durch Körperbewegungen gekennzeichnet sind, ermöglichen diese Eingaben die Generierung diskriminativer Merkmale. SepConvLSTM wird durch Ersetzen der Faltung in jedem Gatter von ConvLSTM durch eine depthwise separable Faltung konstruiert, wodurch robuste langreichweitige räumlich-zeitliche Merkmale erzeugt werden können, während deutlich weniger Parameter benötigt werden. Wir testeten drei verschiedene Fusionsmethoden zur Kombination der Ausgabemerkmalabbildungen beider Ströme. Die Evaluierung der vorgeschlagenen Methoden erfolgte an drei standardisierten öffentlichen Datensätzen. Unser Modell erreicht eine um mehr als 2 % höhere Genauigkeit auf dem größeren und anspruchsvolleren RWF-2000-Datensatz und erzielt gleichzeitig Ergebnisse auf dem Niveau der aktuellen State-of-the-Art auf den kleineren Datensätzen. Unsere Experimente zeigen, dass die vorgeschlagenen Modelle sowohl hinsichtlich der rechnerischen Effizienz als auch der Erkennungsgenauigkeit überlegen sind.