HyperAIHyperAI

Command Palette

Search for a command to run...

Action Unit Memory Network für die schwach überwachte zeitliche Aktionslokalisierung

Wang Luo Tianzhu Zhang Wenfei Yang Jingen Liu Tao Mei Feng Wu Yongdong Zhang

Zusammenfassung

Schwach beschriftete zeitliche Aktionslokalisierung zielt darauf ab, Aktionen in ungeschnittenen Videos zu detektieren und zu lokalisieren, wobei während des Trainings lediglich Video-Level-Labels zur Verfügung stehen. Da jedoch keine Frame-Level-Anmerkungen vorliegen, ist es herausfordernd, eine vollständige Lokalisierung zu erreichen und Hintergrundstörungen zu reduzieren. In diesem Artikel stellen wir ein Action Unit Memory Network (AUMN) für die schwach beschriftete zeitliche Aktionslokalisierung vor, das diese beiden Herausforderungen durch das Lernen einer Aktionseinheitsspeicherbank mildern kann. Im vorgeschlagenen AUMN werden zwei Aufmerksamkeitsmodule entworfen, um die Speicherbank adaptiv zu aktualisieren und spezifische Klassifizierer für Aktionseinheiten zu lernen. Darüber hinaus werden drei effektive Mechanismen (Diversität, Homogenität und Sparsamkeit) eingeführt, um die Aktualisierung des Speichernetzwerks zu leiten. So weit uns bekannt ist, ist dies die erste Arbeit, die Aktionseinheiten explizit mit einem Speichernetzwerk modelliert. Umfangreiche experimentelle Ergebnisse auf zwei Standardbenchmarks (THUMOS14 und ActivityNet) zeigen, dass unser AUMN gegenüber aktuellen State-of-the-Art-Methoden besticht. Insbesondere wird die durchschnittliche mAP bei IoU-Schwellenwerten von 0,1 bis 0,5 auf dem THUMOS14-Datensatz von 47,0 % auf 52,1 % signifikant verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp