Tanz mit Fluss: Zwei-in-Eins-Stream-Aktionserkennung

Das Ziel dieser Arbeit ist die Ermittlung des räumlich-zeitlichen Umfangs einer Aktion. Das auf RGB und Fluss basierende Zweistrom-Detektionsnetzwerk bietet den neuesten Stand der Technik in Bezug auf Genauigkeit, jedoch zu Lasten einer großen Modellgröße und hoher Rechenleistung. Wir schlagen vor, RGB und optischen Fluss in ein einheitliches Zweistrom-Netzwerk mit neuen Schichten zu integrieren. Eine Bewegungsbedingungsschicht extrahiert Bewegungsinformationen aus Flussbildern, die von der Bewegungsmodulationsschicht genutzt werden, um Transformationsparameter für die Modulation der niedrigstufigen RGB-Features zu generieren. Die Methode kann leicht in bestehende Erscheinungs- oder Zweistrom-Aktionsdetektionsnetzwerke eingebettet werden und wird von Anfang bis Ende trainiert. Experimente zeigen, dass die Nutzung der Bewegungsbedingung zur Modulation von RGB-Features die Detektionsgenauigkeit verbessert. Mit nur halber Rechenleistung und halb so vielen Parametern wie die neuesten Zweistrom-Methoden erreicht unser einheitliches Zweistrom-Netzwerk beeindruckende Ergebnisse auf UCF101-24, UCFSports und J-HMDB.