3D スケルトンに基づく手の活動認識のための効率的なマルチストリーム時系列学習とポストファージョン戦略

第一人称の手の活動認識は、特にデータが十分でない場合に非常に困難な課題である。本論文では、骨格情報に基づく手の活動認識に対して、新しいハイブリッド学習パイプラインを提案することでこの課題に取り組む。本パイプラインは3つのブロックで構成されている。まず、手の関節位置の時系列データに対して、局所的および全球的空間特徴を組み合わせた専用の手作業特徴抽出手法により空間特徴を抽出する。次に、多ストリーム学習戦略を用いて時系列的な依存関係を学習する。最後に、前段階で学習した時系列依存関係に対して、我々が提案する「ポストフェュージョン（Post-fusion）戦略」を適用し、手の活動時系列分類器を学習する。実験では、2つの実世界データセット上で評価を行い、本手法が最先端の手法を上回る性能を示した。さらに、アブレーションスタディとして、ポストフェュージョン戦略を3つの従来の特徴融合ベースラインと比較した結果、正解率で2.4%以上の向上が確認された。