MiniROAD: Minimal RNN Framework for Online Action Detection

Online Action Detection (OAD) ist die Aufgabe, Aktionen in Streaming-Videos zu erkennen, ohne Zugriff auf zukünftige Frames. Zahlreiche Bemühungen wurden unternommen, um langfristige Abhängigkeiten effektiv zu erfassen, wobei Transformers aufgrund ihrer Fähigkeit, langfristige zeitliche Strukturen zu erfassen, in den Fokus gerückt sind. Im Gegensatz dazu erhielten RNNs in letzter Zeit weniger Aufmerksamkeit, da ihre Leistung im Vergleich zu jüngeren Methoden, die Transformers nutzen, geringer ist. In diesem Paper untersuchen wir die zugrundeliegenden Gründe für die unterdurchschnittliche Leistung von RNNs im Vergleich zu transformerbasierten Algorithmen. Unsere Ergebnisse deuten darauf hin, dass die Diskrepanz zwischen Training und Inferenz der Hauptgrund für die ineffektive Ausbildung von RNNs ist. Um dies zu beheben, schlagen wir vor, nicht einheitliche Gewichte auf den an jedem Zeitpunkt berechneten Verlust anzuwenden, was es dem RNN-Modell ermöglicht, aus Vorhersagen zu lernen, die in einer Umgebung erfolgen, die der Inferenzphase näherkommt. Ausführliche Experimente an drei Benchmark-Datensätzen – THUMOS, TVSeries und FineAction – zeigen, dass ein minimales RNN-basiertes Modell, das mit der vorgeschlagenen Methode trainiert wird, gleichwertig oder sogar besser abschneidet als bestehende State-of-the-Art-Methoden, wobei eine erhebliche Steigerung der Effizienz erreicht wird. Der Quellcode ist unter https://github.com/jbistanbul/MiniROAD verfügbar.