HyperAIHyperAI

Command Palette

Search for a command to run...

ASM-Loc: Action-aware Segment Modeling für weakly-supervised Temporal Action Localization

Bo He Xitong Yang Le Kang Zhiyu Cheng Xin Zhou Abhinav Shrivastava

Zusammenfassung

Schwach beschriftete zeitliche Aktionslokalisierung zielt darauf ab, Aktionsabschnitte in ungeschnittenen Videos zu erkennen und zu lokalisieren, wobei lediglich video-level-Aktionslabels für das Training zur Verfügung stehen. Da keine Informationen über die Grenzen der Aktionsabschnitte gegeben sind, stützen sich bestehende Methoden hauptsächlich auf das mehrinstanzbasierte Lernen (Multiple Instance Learning, MIL), bei dem die Vorhersagen unlabeled Instanzen (d. h. Video-Snippets) durch die Klassifizierung von labeled Bags (d. h. ungeschnittene Videos) supervidiert werden. Diese Formulierung behandelt jedoch die Snippets innerhalb eines Videos meist als unabhängige Instanzen und ignoriert die zugrundeliegenden zeitlichen Strukturen innerhalb und zwischen den Aktionsabschnitten. Um dieses Problem anzugehen, schlagen wir \system vor, einen neuartigen WTAL-Framework, der eine explizite, aktionsbewusste Segmentmodellierung über die herkömmlichen MIL-basierten Ansätze hinaus ermöglicht. Unser Framework umfasst drei segmentzentrierte Komponenten: (i) dynamische Segment-Sampling zur Kompensation des Beitrags kurzer Aktionen; (ii) intra- und inter-segment Aufmerksamkeit zur Modellierung von Aktionsdynamiken und zur Erfassung zeitlicher Abhängigkeiten; (iii) Pseudo-Instanz-Level-Supervision zur Verbesserung der Vorhersage von Aktionsgrenzen. Zudem wird eine mehrstufige Verfeinerungsstrategie vorgeschlagen, die die schrittweise Verbesserung der Aktionsvorschläge während des Trainingsprozesses ermöglicht. Umfassende Experimente auf THUMOS-14 und ActivityNet-v1.3 belegen die Wirksamkeit unseres Ansatzes und etablieren neue State-of-the-Art-Ergebnisse auf beiden Datensätzen. Der Quellcode und die Modelle sind öffentlich unter ~\url{https://github.com/boheumd/ASM-Loc} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp