Die Architektur von Faster R-CNN für die zeitliche Aktionserkennung neu überdenken

Wir schlagen TAL-Net vor, einen verbesserten Ansatz zur zeitlichen Aktionserkennung in Videos, der sich vom Faster R-CNN Objekterkennungsrahmen inspirieren lässt. TAL-Net behebt drei wesentliche Mängel bestehender Ansätze: (1) Wir verbessern die Anpassung des Rezeptionsfeldes durch eine mehrskalige Architektur, die extremen Schwankungen in Aktionen-Dauern gerecht wird; (2) Wir nutzen den zeitlichen Kontext von Aktionen für Vorschlagsgenerierung und Aktionserkennung besser aus, indem wir die Rezeptionsfelder angemessen erweitern; und (3) Wir berücksichtigen explizit die Fusion von Multistream-Features und zeigen, dass das späte Führen von Bewegungsdaten wichtig ist. Wir erreichen den Stand der Technik sowohl bei der Generierung von Aktionsvorschlägen als auch bei der Lokalisierung auf dem THUMOS'14 Erkennungsbenchmark und wettbewerbsfähige Leistungen beim ActivityNet Challenge.