2ヶ月前
モーション特徴量ネットワーク:アクション認識のための固定モーションフィルター
Myunggi Lee; Seungeui Lee; Sungjoon Son; Gyutae Park; Nojun Kwak

要約
フレームシーケンスにおける時空間表現は、動作認識タスクにおいて重要な役割を果たします。従来、光学フローを時間情報を表すものとして、空間情報を含むRGB画像のセットと組み合わせて使用する方法が、動作認識タスクの性能向上に大きく貢献していました。しかし、この方法には高い計算コストがかかり、2ストリーム(RGBと光学フロー)のフレームワークが必要でした。本論文では、 Motion Feature Network (MFNet) を提案します。このネットワークにはモーションブロックが含まれており、隣接するフレーム間の時空間情報を統一されたネットワーク内で符号化し、エンドツーエンドで学習することが可能となります。モーションブロックは既存のCNNベースの動作認識フレームワークに簡単に追加でき、わずかな追加コストしかかかりません。私たちは Jester および Something-Something の2つの動作認識データセットでネットワークを評価し、ネットワークをゼロから学習させることで両データセットに対して競争力のある性能を達成しました。