Ein mehrströmiges tiefes neuronales Netzwerk mit spätem fuzzyer Fusion für die Anomalieerkennung in der realen Welt

Die Erkennung von Anomalien in Videos wird alternativ auch als Outlier-Detektion bezeichnet, bei der maschinelles Lernen äußerst effektiv eingesetzt werden kann. Bei der Prüfung eines unbekannten Videos zielt derartige Methode darauf ab, die Kategorie des Videos – beispielsweise normal oder abnormal – zu bestätigen. In diesem Artikel wird visuelle Information sowohl aus normalen als auch aus abnormalen Videos genutzt, um einen tiefen Mehrfach-Instanz-Lern- (Multiple Instance Learning, MIL) Klassifikator für die Klassifizierung von Videos zu trainieren. Bisherige MIL-Klassifikatoren gehen davon aus, dass die Trainingsvideos nur kurzdauernde anomale Ereignisse enthalten. Diese Annahme ist jedoch nicht für alle realen Anomalien gültig. Zudem können in Trainingsvideos mehrfache Auftreten von Anomalien nicht ausgeschlossen werden. In dieser Arbeit wird gezeigt, dass durch die Einbeziehung zeitlicher Informationen in die Merkmalsextraktion die Leistung der Anomalieerkennung verbessert werden kann. Dazu werden zwei spatio-temporale tiefe Merkmalsextraktoren parallel auf die Trainingsvideos angewendet. Diese beiden Streams dienen anschließend zur Schulung eines modifizierten auf MIL basierenden Klassifikators. Abschließend wird eine fuzzy-basierte Aggregation eingesetzt, um die Anomalie-Scores zu fusionieren. Zudem werden zwei leichte Deep-Learning-Klassifikatoren verwendet, um die Wirksamkeit des vorgeschlagenen Modells zur Klassifizierung von Brand- und Unfallereignissen zu untermauern. Um die Zuverlässigkeit und Leistungsfähigkeit der vorgeschlagenen Methode zu bewerten, wurden umfangreiche Experimente mit dem UCF-Crime-Video-Datensatz durchgeführt, der 13 verschiedene Anomaliekategorien umfasst. Der Datensatz wurde neu strukturiert und in fünf breite Kategorien basierend auf der Schwere der Handlungen eingeteilt, um die Robustheit des vorgeschlagenen Ansatzes zu untersuchen. Die Arbeit liefert ausreichende empirische Belege dafür, dass durch die Integration zeitlicher Merkmale in den Erkennungspipeline die Genauigkeit der Anomalieerkennung signifikant gesteigert werden kann. Darüber hinaus ermöglicht das Modell die Erkennung von langdauernden Anomalien in Videos, was mit bisherigen Methoden nicht möglich war. Die vorgeschlagene end-to-end-Mehrstrahl-Architektur erreicht bei der Erkennung von abnormalen Ereignissen eine Genauigkeit von bis zu 84,48 %, was die Leistung bestehender Methoden zur Video-Anomalieerkennung übertrifft. Zudem verbessert sich die Klassifikationsgenauigkeit pro Kategorie um 6 % bis 14 % über verschiedene breite Kategorien hinweg.