姿勢、動作、外観を活用した行動分類と検出のための連鎖多ストリームネットワーク

一般的ヒューマンアクション認識には、さまざまな視覚的な手がかりの理解が必要です。本論文では、アクション認識に最も重要な視覚的な手がかりである姿勢（pose）、動き（motion）、および生画像（raw images）を計算し統合するネットワークアーキテクチャを提案します。統合のために、手がかりを逐次的に追加するマルコフ連鎖モデルを導入しました。この結果、提案手法は効率的であり、アクション分類だけでなく空間的・時間的なアクション局在化にも適用可能です。これらの2つの貢献により、それぞれのベースラインを超える性能向上が達成されました。全体的な手法は、HMDB51、J-HMDB、NTU RGB+Dデータセットにおいて最先端のアクション分類性能を実現しています。さらに、UCF101およびJ-HMDBにおいても最先端の空間的・時間的なアクション局在化結果を示しています。