Schnelles Lernen von zeitlichen Aktionsvorschlägen durch dichten Randgenerator

Die Generierung zeitlicher Aktionsvorschläge bleibt ein äußerst herausforderndes Problem, wobei die zentrale Schwierigkeit darin besteht, präzise zeitliche Vorschlagsgrenzen und zuverlässige Aktionskonfidenzwerte in langen, ungeschnittenen Videos aus der realen Welt vorherzusagen. In diesem Paper stellen wir einen effizienten und einheitlichen Ansatz zur Generierung zeitlicher Aktionsvorschläge vor, den wir Dense Boundary Generator (DBG) nennen, der sich von grenzempfindlichen Methoden inspirieren lässt und sowohl Grenzklasifikation als auch Aktionsvollständigkeitsregression für dicht verteilte Vorschläge implementiert. Insbesondere besteht der DBG aus zwei Modulen: Temporal Boundary Classification (TBC) und Action-aware Completeness Regression (ACR). Das TBC generiert zwei zeitliche Grenzkonfidenzkarten basierend auf niedrigstufigen, zweistrombasierten Merkmalen, während das ACR entwickelt wurde, um eine Aktionsvollständigkeits-Score-Karte mittels hochstufiger, aktionsbewusster Merkmale zu erzeugen. Darüber hinaus führen wir ein Dual-Stream BaseNet (DSB) ein, das RGB- und Optische-Fluss-Informationen kodiert und somit die Erfassung diskriminativer Grenz- und Aktionsmerkmale unterstützt. Umfassende Experimente auf etablierten Benchmarks wie ActivityNet-1.3 und THUMOS14 belegen die Überlegenheit von DBG gegenüber aktuellen state-of-the-art-Vorschlagsgeneratoren (z. B. MGG und BMN). Der Quellcode wird nach der Veröffentlichung verfügbar gemacht.