HyperAIHyperAI

Command Palette

Search for a command to run...

HR-Pro: Punktgesteuerte zeitliche Aktionslokalisierung mittels hierarchischer Zuverlässigkeitspropagation

Huaxin Zhang Xiang Wang Xiaohao Xu Zhiwu Qing Changxin Gao Nong Sang

Zusammenfassung

Punktgesteuerte zeitliche Aktionslokalisierung (PSTAL) ist ein aufkommendes Forschungsfeld im Bereich der label-effizienten Lernverfahren. Derzeitige Ansätze konzentrieren sich jedoch hauptsächlich auf die Optimierung des Netzwerks entweder auf Snippet-Ebene oder auf Instanz-Ebene, wobei die inhärente Zuverlässigkeit von Punktannotierungen auf beiden Ebenen vernachlässigt wird. In diesem Artikel stellen wir einen hierarchischen Zuverlässigkeits-Propagierungsansatz (HR-Pro) vor, der aus zwei zuverlässigkeitsbewussten Stufen besteht: Snippet-Ebenen-Diskriminierungslernen und Instanz-Ebenen-Vollständigkeitslernen. Beide Stufen erforschen die effiziente Propagierung von hochzuverlässigen Hinweisen aus den Punktannotierungen. Bei der Snippet-Ebenen-Lernphase führen wir einen online-aktualisierten Speicher ein, um zuverlässige Snippet-Prototypen für jede Klasse zu speichern. Anschließend nutzen wir einen zuverlässigkeitsbewussten Aufmerksamkeitsblock, um sowohl intra-video- als auch inter-video-Abhängigkeiten von Snippets zu erfassen, wodurch eine differenziertere und robuster werdende Darstellung der Snippets entsteht. Auf Instanz-Ebene schlagen wir eine punktbasierte Vorschlagsgenerierungsmethode vor, die als Verbindung zwischen Snippets und Instanzen dient und hochzuverlässige Vorschläge für eine weitere Optimierung auf Instanz-Ebene erzeugt. Durch mehrstufiges, zuverlässigkeitsbewusstes Lernen erhalten wir zuverlässigere Konfidenzscore und genauere zeitliche Grenzen der vorhergesagten Vorschläge. Unser HR-Pro erreicht eine state-of-the-art-Leistung auf mehreren anspruchsvollen Benchmarks, darunter ein beeindruckendes durchschnittliches mAP von 60,3 % auf THUMOS14. Insbesondere übertrifft unser HR-Pro alle vorherigen punktgesteuerten Methoden deutlich und erreicht sogar die Leistung mehrerer konkurrenzfähiger vollständig überwachter Methoden. Der Quellcode wird unter https://github.com/pipixin321/HR-Pro verfügbar sein.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HR-Pro: Punktgesteuerte zeitliche Aktionslokalisierung mittels hierarchischer Zuverlässigkeitspropagation | Paper | HyperAI