HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

MiniROAD: Minimal RNN Framework for Online Action Detection

{Seon Joo Kim Ming-Hsuan Yang Su Ho Han Hyolim Kang Joungbin An}

MiniROAD: Minimal RNN Framework for Online Action Detection

Abstract

Online Action Detection (OAD) ist die Aufgabe, Aktionen in Streaming-Videos zu erkennen, ohne Zugriff auf zukünftige Frames. Zahlreiche Bemühungen wurden unternommen, um langfristige Abhängigkeiten effektiv zu erfassen, wobei Transformers aufgrund ihrer Fähigkeit, langfristige zeitliche Strukturen zu erfassen, in den Fokus gerückt sind. Im Gegensatz dazu erhielten RNNs in letzter Zeit weniger Aufmerksamkeit, da ihre Leistung im Vergleich zu jüngeren Methoden, die Transformers nutzen, geringer ist. In diesem Paper untersuchen wir die zugrundeliegenden Gründe für die unterdurchschnittliche Leistung von RNNs im Vergleich zu transformerbasierten Algorithmen. Unsere Ergebnisse deuten darauf hin, dass die Diskrepanz zwischen Training und Inferenz der Hauptgrund für die ineffektive Ausbildung von RNNs ist. Um dies zu beheben, schlagen wir vor, nicht einheitliche Gewichte auf den an jedem Zeitpunkt berechneten Verlust anzuwenden, was es dem RNN-Modell ermöglicht, aus Vorhersagen zu lernen, die in einer Umgebung erfolgen, die der Inferenzphase näherkommt. Ausführliche Experimente an drei Benchmark-Datensätzen – THUMOS, TVSeries und FineAction – zeigen, dass ein minimales RNN-basiertes Modell, das mit der vorgeschlagenen Methode trainiert wird, gleichwertig oder sogar besser abschneidet als bestehende State-of-the-Art-Methoden, wobei eine erhebliche Steigerung der Effizienz erreicht wird. Der Quellcode ist unter https://github.com/jbistanbul/MiniROAD verfügbar.

Benchmarks

BenchmarkMethodikMetriken
online-action-detection-on-fineactionMiniROAD
mAP: 37.1
online-action-detection-on-thumos-14MiniROAD
MFLOPs per pred: 15.8
mAP: 71.8
online-action-detection-on-tvseriesMiniROAD
mCAP: 89.6

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MiniROAD: Minimal RNN Framework for Online Action Detection | Forschungsarbeiten | HyperAI