ACM-Net: Action Context Modeling Network für weakly-supervised Temporal Action Localization

Die schwach beschriftete zeitliche Aktionslokalisierung zielt darauf ab, die zeitlichen Grenzen von Aktionsinstanzen zu lokalisieren und die entsprechende Aktionskategorie zu identifizieren, wobei lediglich videobasierte Labels zur Verfügung stehen. Traditionelle Methoden konzentrieren sich hauptsächlich auf die Trennung von Vordergrund- und Hintergrundbildern mittels eines einzigen Aufmerksamkeitszweiges und einer Klassenaktivierungssequenz. Wir argumentieren jedoch, dass neben den charakteristischen Vordergrund- und Hintergrundbildern zahlreiche semantisch mehrdeutige Aktionskontextbilder existieren. Es ist sinnlos, diese Kontextbilder der gleichen Hintergrundklasse zuzuordnen, da sie semantisch mit einer spezifischen Aktionskategorie verbunden sind. Folglich ist es herausfordernd, Aktionskontextbilder allein durch eine einzige Klassenaktivierungssequenz zu unterdrücken. Um dieses Problem zu lösen, schlagen wir in diesem Artikel ein Netzwerk zur Modellierung von Aktionskontexten, namens ACM-Net, vor, das einen dreigeteilten Aufmerksamkeitsmodul integriert, um gleichzeitig die Wahrscheinlichkeit jedes zeitlichen Punktes dafür zu messen, dass er eine Aktionsinstanz, ein Kontextelement oder ein nicht-aktionsbezogener Hintergrund darstellt. Auf Basis der ermittelten dreigeteilten Aufmerksamkeitswerte konstruieren wir drei getrennte Klassenaktivierungssequenzen, um jeweils Aktionsinstanzen, Kontexte und nicht-aktionsbezogene Hintergründe darzustellen. Um die Wirksamkeit unseres ACM-Net zu evaluieren, führen wir umfangreiche Experimente auf zwei Standard-Datensätzen, THUMOS-14 und ActivityNet-1.3, durch. Die Experimente zeigen, dass unsere Methode gegenwärtige state-of-the-art-Methoden übertrifft und sogar Leistungen erreicht, die mit vollständig beschrifteten Methoden vergleichbar sind. Der Quellcode ist unter https://github.com/ispc-lab/ACM-Net verfügbar.