Command Palette
Search for a command to run...
Optischer Fluss-gesteuerter Merkmals: Eine schnelle und robuste Bewegungsdarstellung für die Erkennung von Videoaktionen
Optischer Fluss-gesteuerter Merkmals: Eine schnelle und robuste Bewegungsdarstellung für die Erkennung von Videoaktionen
Shuyang Sun Zhanghui Kuang Lu Sheng Wanli Ouyang Wei Zhang
Zusammenfassung
Die Bewegungsdarstellung spielt eine entscheidende Rolle bei der Erkennung menschlicher Aktivitäten in Videos. In dieser Studie stellen wir eine neuartige, kompakte Bewegungsdarstellung für die Aktionserkennung in Videos vor, die als Optical Flow guided Feature (OFF) bezeichnet wird und es dem Netzwerk ermöglicht, zeitliche Informationen durch einen schnellen und robusten Ansatz zu extrahieren. Das OFF basiert auf der Definition des optischen Flusses und ist orthogonal dazu. Die Herleitung bietet auch theoretische Begründungen für die Verwendung der Differenz zwischen zwei Bildern. Durch direkte Berechnung der pixelbasierten räumlich-zeitlichen Gradienten der tiefen Merkmalskarten kann das OFF in jedes bestehende CNN-basierte Framework zur Aktionserkennung in Videos mit nur geringem zusätzlichen Aufwand integriert werden. Es ermöglicht es dem CNN, räumlich-zeitliche Informationen, insbesondere die zeitlichen Informationen zwischen den Bildern gleichzeitig zu extrahieren. Diese einfache, aber mächtige Idee wird durch experimentelle Ergebnisse bestätigt. Das Netzwerk, das nur mit RGB-Eingaben versorgt wird und OFF verwendet, erreicht eine wettbewerbsfähige Genauigkeit von 93,3 % auf UCF-101, was sich mit dem Ergebnis vergleichen lässt, das durch zwei Ströme (RGB und optischer Fluss) erzielt wurde, aber 15-mal schneller ist. Experimentelle Ergebnisse zeigen zudem, dass OFF ergänzend zu anderen Bewegungsmodalitäten wie dem optischen Fluss ist. Wenn die vorgeschlagene Methode in das aktuell fortschrittlichste Framework zur Aktionserkennung in Videos eingebunden wird, erreicht sie Genauigkeiten von 96,0 % auf UCF-101 und 74,2 % auf HMDB-51. Der Quellcode für dieses Projekt ist unter https://github.com/kevin-ssy/Optical-Flow-Guided-Feature verfügbar.