HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verfeinerung der Aktionssegmentierung mit hierarchischen Videodarstellungen

{Dongheui Lee Hyemin Ahn}

Verfeinerung der Aktionssegmentierung mit hierarchischen Videodarstellungen

Abstract

In diesem Paper stellen wir den Hierarchical Action Segmentation Refiner (HASR) vor, der die temporale Aktionssegmentierungsergebnisse verschiedener Modelle durch eine hierarchische Verarbeitung des Gesamtzusammenhangs eines gegebenen Videos verfeinern kann. Wenn ein Backbone-Modell zur Aktionssegmentierung abschätzt, wie ein gegebenes Video segmentiert werden kann, extrahiert unser Modell segmentbasierte Repräsentationen auf Basis von framebasierten Merkmalen und gewinnt eine video-basierte Repräsentation auf Grundlage der segmentbasierten Repräsentationen. Aufgrund dieser hierarchischen Repräsentationen kann unser Modell den Gesamtzusammenhang des gesamten Videos berücksichtigen und vorhersagen, wie segmentale Etiketten, die im Kontext nicht passen, korrigiert werden sollten. Der HASR kann nahtlos in verschiedene Aktionssegmentierungsmodelle (MS-TCN, SSTDA, ASRF) integriert werden und die Leistung von state-of-the-art-Modellen auf drei anspruchsvollen Datensätzen (GTEA, 50Salads und Breakfast) verbessern. Beispielsweise steigt die Segment-Edit-Score in dem Datensatz 50Salads von 67,9 % auf 77,4 % (MS-TCN), von 75,8 % auf 77,3 % (SSTDA) und von 79,3 % auf 81,0 % (ASRF). Zudem kann unser Modell die Segmentierungsergebnisse eines bisher unbekannten Backbone-Modells verfeinern, das während der Trainingsphase von HASR nicht berücksichtigt wurde. Diese Generalisierungsfähigkeit macht HASR zu einem effektiven Werkzeug zur Verbesserung bestehender Ansätze für die temporale Aktionssegmentierung. Der Quellcode ist unter https://github.com/cotton-ahn/HASR_iccv2021 verfügbar.

Benchmarks

BenchmarkMethodikMetriken
action-segmentation-on-50-salads-1ASRF + HASR
Acc: 83.9
Edit: 81.0
F1@10%: 86.6
F1@25%: 85.7
F1@50%: 78.5
action-segmentation-on-breakfast-1ASRF + HASR
Acc: 69.4
Average F1: 67.1
Edit: 71.9
F1@10%: 74.7
F1@25%: 69.5
F1@50%: 57.0
action-segmentation-on-gtea-1ASRF + HASR
Acc: 76.9
Edit: 84.5
F1@10%: 89.2
F1@25%: 87.2
F1@50%: 74.8
action-segmentation-on-gtea-1SSTDA + HASR
Acc: 78.7
Edit: 87.5
F1@10%: 90.9
F1@25%: 88.6
F1@50%: 76.4

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verfeinerung der Aktionssegmentierung mit hierarchischen Videodarstellungen | Forschungsarbeiten | HyperAI