Command Palette
Search for a command to run...
HR-Pro: Punktgesteuerte zeitliche Aktionslokalisierung mittels hierarchischer Zuverlässigkeitspropagation
HR-Pro: Punktgesteuerte zeitliche Aktionslokalisierung mittels hierarchischer Zuverlässigkeitspropagation
Huaxin Zhang Xiang Wang Xiaohao Xu Zhiwu Qing Changxin Gao Nong Sang
Zusammenfassung
Punktgesteuerte zeitliche Aktionslokalisierung (PSTAL) ist ein aufkommendes Forschungsfeld im Bereich der label-effizienten Lernverfahren. Derzeitige Ansätze konzentrieren sich jedoch hauptsächlich auf die Optimierung des Netzwerks entweder auf Snippet-Ebene oder auf Instanz-Ebene, wobei die inhärente Zuverlässigkeit von Punktannotierungen auf beiden Ebenen vernachlässigt wird. In diesem Artikel stellen wir einen hierarchischen Zuverlässigkeits-Propagierungsansatz (HR-Pro) vor, der aus zwei zuverlässigkeitsbewussten Stufen besteht: Snippet-Ebenen-Diskriminierungslernen und Instanz-Ebenen-Vollständigkeitslernen. Beide Stufen erforschen die effiziente Propagierung von hochzuverlässigen Hinweisen aus den Punktannotierungen. Bei der Snippet-Ebenen-Lernphase führen wir einen online-aktualisierten Speicher ein, um zuverlässige Snippet-Prototypen für jede Klasse zu speichern. Anschließend nutzen wir einen zuverlässigkeitsbewussten Aufmerksamkeitsblock, um sowohl intra-video- als auch inter-video-Abhängigkeiten von Snippets zu erfassen, wodurch eine differenziertere und robuster werdende Darstellung der Snippets entsteht. Auf Instanz-Ebene schlagen wir eine punktbasierte Vorschlagsgenerierungsmethode vor, die als Verbindung zwischen Snippets und Instanzen dient und hochzuverlässige Vorschläge für eine weitere Optimierung auf Instanz-Ebene erzeugt. Durch mehrstufiges, zuverlässigkeitsbewusstes Lernen erhalten wir zuverlässigere Konfidenzscore und genauere zeitliche Grenzen der vorhergesagten Vorschläge. Unser HR-Pro erreicht eine state-of-the-art-Leistung auf mehreren anspruchsvollen Benchmarks, darunter ein beeindruckendes durchschnittliches mAP von 60,3 % auf THUMOS14. Insbesondere übertrifft unser HR-Pro alle vorherigen punktgesteuerten Methoden deutlich und erreicht sogar die Leistung mehrerer konkurrenzfähiger vollständig überwachter Methoden. Der Quellcode wird unter https://github.com/pipixin321/HR-Pro verfügbar sein.