HR-Pro: Punktgesteuerte zeitliche Aktionslokalisierung mittels hierarchischer Zuverlässigkeitspropagation
Punktgesteuerte zeitliche Aktionslokalisierung (PSTAL) ist ein aufkommendes Forschungsfeld im Bereich der label-effizienten Lernverfahren. Derzeitige Ansätze konzentrieren sich jedoch hauptsächlich auf die Optimierung des Netzwerks entweder auf Snippet-Ebene oder auf Instanz-Ebene, wobei die inhärente Zuverlässigkeit von Punktannotierungen auf beiden Ebenen vernachlässigt wird. In diesem Artikel stellen wir einen hierarchischen Zuverlässigkeits-Propagierungsansatz (HR-Pro) vor, der aus zwei zuverlässigkeitsbewussten Stufen besteht: Snippet-Ebenen-Diskriminierungslernen und Instanz-Ebenen-Vollständigkeitslernen. Beide Stufen erforschen die effiziente Propagierung von hochzuverlässigen Hinweisen aus den Punktannotierungen. Bei der Snippet-Ebenen-Lernphase führen wir einen online-aktualisierten Speicher ein, um zuverlässige Snippet-Prototypen für jede Klasse zu speichern. Anschließend nutzen wir einen zuverlässigkeitsbewussten Aufmerksamkeitsblock, um sowohl intra-video- als auch inter-video-Abhängigkeiten von Snippets zu erfassen, wodurch eine differenziertere und robuster werdende Darstellung der Snippets entsteht. Auf Instanz-Ebene schlagen wir eine punktbasierte Vorschlagsgenerierungsmethode vor, die als Verbindung zwischen Snippets und Instanzen dient und hochzuverlässige Vorschläge für eine weitere Optimierung auf Instanz-Ebene erzeugt. Durch mehrstufiges, zuverlässigkeitsbewusstes Lernen erhalten wir zuverlässigere Konfidenzscore und genauere zeitliche Grenzen der vorhergesagten Vorschläge. Unser HR-Pro erreicht eine state-of-the-art-Leistung auf mehreren anspruchsvollen Benchmarks, darunter ein beeindruckendes durchschnittliches mAP von 60,3 % auf THUMOS14. Insbesondere übertrifft unser HR-Pro alle vorherigen punktgesteuerten Methoden deutlich und erreicht sogar die Leistung mehrerer konkurrenzfähiger vollständig überwachter Methoden. Der Quellcode wird unter https://github.com/pipixin321/HR-Pro verfügbar sein.