要約
動作の時空間状態を取得することは、動作分類において最も重要なステップである。本論文では、静止画に運動情報を融合させることで、動作の時空間状態をより適切に表現するデータレベルの融合戦略である「モーション・フューズド・フレーム（MFFs）」を提案する。MFFsは、ネットワークに対する僅かな修正のみで任意の深層学習アーキテクチャへの入力として使用できる。我々は、手の動きの長期的な時間的関係を捉える必要がある3つのビデオデータセット（Jester, ChaLearn LAP IsoGD, NVIDIA Dynamic Hand Gesture Datasets）を使用して、MFFsの手ジェスチャ認識タスクにおける性能を評価した。本手法は、JesterおよびChaLearnベンチマークにおいてそれぞれ96.28%と57.4%の分類精度で非常に競争力のある結果を得た一方、NVIDIAベンチマークでは84.7%の精度で最先端の性能を達成した。