2ヶ月前

リアルタイムアクション認識に向けた強化された運動ベクトルCNNの利用

Bowen Zhang; Limin Wang; Zhe Wang; Yu Qiao; Hanli Wang
リアルタイムアクション認識に向けた強化された運動ベクトルCNNの利用
要約

深層二重ストリームアーキテクチャは、ビデオベースの動作認識において優れた性能を示しました。この手法における最も計算コストが高的なステップは、光学フローの計算であり、これがリアルタイム処理を妨げています。本論文では、光学フローをモーションベクトルに置き換えることで、このアーキテクチャを加速します。モーションベクトルは圧縮されたビデオから直接取得できるため、追加の計算が必要ありません。しかし、モーションベクトルには微細な構造が欠けており、ノイズや不正確な運動パターンが含まれているため、認識性能が著しく低下する可能性があります。この問題を緩和するための我々の重要な洞察は、光学フローとモーションベクトルが内在的に相関していることです。光学フローベースのCNNで学習した知識をモーションベクトルベースのCNNに転送することで、後者の性能を大幅に向上させることができます。具体的には、初期化転送(initialization transfer)、教師付き転送(supervision transfer)、およびこれらを組み合わせた3つの戦略を導入しています。実験結果によると、我々の方法は最先端技術と同等の認識性能を達成しており、さらに390.7フレーム/秒という処理速度で27倍速いことが確認されました。

リアルタイムアクション認識に向けた強化された運動ベクトルCNNの利用 | 最新論文 | HyperAI超神経