Verbesserung zeitlicher Aktionsvorschläge durch hierarchischen Kontext

Temporal Action Proposal (TAP) zielt darauf ab, präzise Kandidaten für Aktionsinstanzen in ungeschnittenen Videos zu generieren. Es wurde bereits nachgewiesen, dass Kontextinformationen für diese Aufgabe von entscheidender Bedeutung sind. In diesem Artikel stellen wir ein neuartiges hierarchisches Kontextnetzwerk (Hierarchical Context Network, HCN) vor, um sowohl snippet- als auch proposal-orientierte Kontexte weiter zu erforschen, die jeweils dazu dienen, die Repräsentationen von Snippets und Vorschlägen zu verbessern. Zunächst zeigen wir, dass unterschiedliche Skalen von snippet-orientierten Kontexten für verschiedene Aktionsinstanzen nicht gleich wichtig sind. Um dies zu berücksichtigen, integrieren wir eine neuartige Gating-Mechanismus in die U-Net-Architektur, um kontextadaptive snippet-orientierte Kontexte zu erfassen. Zweitens schlagen wir ein auf die Aufgabe zugeschnittenes, hoch-effizientes Selbst-Attention-Modell vor, um proposal-orientierte Kontexte auszunutzen. Durch Stapelung mehrerer solcher Attention-Modelle können wir die proposal-orientierten Kontexte tiefgreifend und über einen weiten Bereich hinweg erforschen. Schließlich ermöglicht HCN die Nutzung beider Kontextebenen durch die Ausstattung mit drei Zweigen, die Vorschläge von lokalen bis globalen Perspektiven aus bewerten. Unsere Experimente auf den Datensätzen ActivityNet-1.3 und THUMOS14 zeigen, dass HCN die vorherigen TAP-Methoden deutlich übertrifft. Darüber hinaus belegen zusätzliche Experimente, dass unsere Methode die Leistung der aktuellen State-of-the-Art-Aktionsdetektion erheblich verbessert, wenn sie mit bestehenden Aktionsklassifikatoren kombiniert wird.