HyperAIHyperAI

Command Palette

Search for a command to run...

ACM-Net: Action Context Modeling Network für weakly-supervised Temporal Action Localization

Sanqing Qu Guang Chen Zhijun Li Lijun Zhang Fan Lu Alois Knoll

Zusammenfassung

Die schwach beschriftete zeitliche Aktionslokalisierung zielt darauf ab, die zeitlichen Grenzen von Aktionsinstanzen zu lokalisieren und die entsprechende Aktionskategorie zu identifizieren, wobei lediglich videobasierte Labels zur Verfügung stehen. Traditionelle Methoden konzentrieren sich hauptsächlich auf die Trennung von Vordergrund- und Hintergrundbildern mittels eines einzigen Aufmerksamkeitszweiges und einer Klassenaktivierungssequenz. Wir argumentieren jedoch, dass neben den charakteristischen Vordergrund- und Hintergrundbildern zahlreiche semantisch mehrdeutige Aktionskontextbilder existieren. Es ist sinnlos, diese Kontextbilder der gleichen Hintergrundklasse zuzuordnen, da sie semantisch mit einer spezifischen Aktionskategorie verbunden sind. Folglich ist es herausfordernd, Aktionskontextbilder allein durch eine einzige Klassenaktivierungssequenz zu unterdrücken. Um dieses Problem zu lösen, schlagen wir in diesem Artikel ein Netzwerk zur Modellierung von Aktionskontexten, namens ACM-Net, vor, das einen dreigeteilten Aufmerksamkeitsmodul integriert, um gleichzeitig die Wahrscheinlichkeit jedes zeitlichen Punktes dafür zu messen, dass er eine Aktionsinstanz, ein Kontextelement oder ein nicht-aktionsbezogener Hintergrund darstellt. Auf Basis der ermittelten dreigeteilten Aufmerksamkeitswerte konstruieren wir drei getrennte Klassenaktivierungssequenzen, um jeweils Aktionsinstanzen, Kontexte und nicht-aktionsbezogene Hintergründe darzustellen. Um die Wirksamkeit unseres ACM-Net zu evaluieren, führen wir umfangreiche Experimente auf zwei Standard-Datensätzen, THUMOS-14 und ActivityNet-1.3, durch. Die Experimente zeigen, dass unsere Methode gegenwärtige state-of-the-art-Methoden übertrifft und sogar Leistungen erreicht, die mit vollständig beschrifteten Methoden vergleichbar sind. Der Quellcode ist unter https://github.com/ispc-lab/ACM-Net verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp