Repräsentationsfluss für die Aktionserkennung

In dieser Arbeit schlagen wir eine Faltungsschicht vor, die von optischen Flussalgorithmen inspiriert ist, um Bewegungsdarstellungen zu lernen. Unsere Darstellungsflossschicht (representation flow layer) ist eine vollständig differenzierbare Schicht, die entwickelt wurde, um den „Fluss“ jedes Darstellungskanals innerhalb eines Faltungsneuronalen Netzes für Aktionserkennung zu erfassen. Ihre Parameter für die iterative Flussoptimierung werden in einem end-to-end-Verfahren zusammen mit den anderen CNN-Modellparametern gelernt, wodurch die Leistung der Aktionserkennung maximiert wird. Darüber hinaus führen wir erstmals das Konzept des Lernens von „Fluss des Flusses“-Darstellungen (flow of flow representations) ein, indem wir mehrere Darstellungsflossschichten übereinander stapeln. Wir haben umfangreiche experimentelle Evaluierungen durchgeführt, die ihre Vorteile gegenüber früheren Erkennungsmodellen, die traditionelle optische Flüsse verwenden, sowohl in Bezug auf Rechengeschwindigkeit als auch auf Leistung bestätigen. Der Quellcode/Modelle sind hier verfügbar: https://piergiaj.github.io/rep-flow-site/