深層ビデオにおける動作認識のための多モーダルマルチパート学習

人間の行動は複雑かつarticulated（関節が動く）性質を持つため、行動認識タスクは困難を極めます。この複雑さに対処する一つのアプローチとして、身体部位の運動学に分割し、これらの部分的な記述子に基づいて行動を分析することが挙げられます。本研究では、構造化スパarsity（疎性）を利用して、各行動を少数の身体部位から得られる多モーダル特徴量の組み合わせとしてモデル化する共同スパース回帰ベースの学習方法を提案します。部位の動態と外観を表現するために、深度情報と骨格情報に基づく異種集合の特徴量を使用しています。多モーダル・マルチパート特徴量の適切な構造は、提案された階層的混合ノルムを通じて学習フレームワークに公式化され、各部位の構造化された特徴量を正規化し、それら間にスパarsity（疎性）を適用することでグループ特徴量選択を促進します。実験結果は、提案した学習方法の有効性を示しており、3つのテストデータセットすべてで他の方法よりも優れた性能を発揮し、そのうち1つのデータセットでは完全な精度を達成して飽和状態となっています。