HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung zeitlicher Aktionsvorschläge durch hierarchischen Kontext

Shenghai Rong Zilei Wang Qinying Liu

Zusammenfassung

Temporal Action Proposal (TAP) zielt darauf ab, präzise Kandidaten für Aktionsinstanzen in ungeschnittenen Videos zu generieren. Es wurde bereits nachgewiesen, dass Kontextinformationen für diese Aufgabe von entscheidender Bedeutung sind. In diesem Artikel stellen wir ein neuartiges hierarchisches Kontextnetzwerk (Hierarchical Context Network, HCN) vor, um sowohl snippet- als auch proposal-orientierte Kontexte weiter zu erforschen, die jeweils dazu dienen, die Repräsentationen von Snippets und Vorschlägen zu verbessern. Zunächst zeigen wir, dass unterschiedliche Skalen von snippet-orientierten Kontexten für verschiedene Aktionsinstanzen nicht gleich wichtig sind. Um dies zu berücksichtigen, integrieren wir eine neuartige Gating-Mechanismus in die U-Net-Architektur, um kontextadaptive snippet-orientierte Kontexte zu erfassen. Zweitens schlagen wir ein auf die Aufgabe zugeschnittenes, hoch-effizientes Selbst-Attention-Modell vor, um proposal-orientierte Kontexte auszunutzen. Durch Stapelung mehrerer solcher Attention-Modelle können wir die proposal-orientierten Kontexte tiefgreifend und über einen weiten Bereich hinweg erforschen. Schließlich ermöglicht HCN die Nutzung beider Kontextebenen durch die Ausstattung mit drei Zweigen, die Vorschläge von lokalen bis globalen Perspektiven aus bewerten. Unsere Experimente auf den Datensätzen ActivityNet-1.3 und THUMOS14 zeigen, dass HCN die vorherigen TAP-Methoden deutlich übertrifft. Darüber hinaus belegen zusätzliche Experimente, dass unsere Methode die Leistung der aktuellen State-of-the-Art-Aktionsdetektion erheblich verbessert, wenn sie mit bestehenden Aktionsklassifikatoren kombiniert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserung zeitlicher Aktionsvorschläge durch hierarchischen Kontext | Paper | HyperAI