骨格に基づくジェスチャ認識：パス署名特徴量と時間変換モジュールを用いた複数の全結合層を使用して

骨格に基づくジェスチャ認識は、その多様な応用可能性によりますます注目を集めています。本稿では、主に差別的な特徴を抽出する方法と分類モデルの設計方法について考察します。まず、堅牢な特徴記述子であるパス署名（Path Signature: PS）を活用し、空間的および時間的運動特性を明示的に表現するために3つのPS特徴量を提案します。すなわち、空間PS（Spatial Path Signature: S_PS）、時間PS（Temporal Path Signature: T_PS）、および時間空間PS（Temporal Spatial Path Signature: T_S_PS）です。ジェスチャにおける微細な手の動きの重要性に鑑み、S_PSの関節対を定義し、T_PSの単一関節を選択するための「手への注意」（Attention On Hand: AOH）原則を提案します。さらに、動態の全体的な時間的ダイナミクスと局所的な時間的ダイナミクスを符号化するT_PSおよびT_S_PS特徴量を抽出するために二項法（dyadic method）が用いられます。次に、再帰戦略なしでも異なるシーケンス間での時間変動に対する課題が残っています。これに対処するために、各入力に対して時間シフトパラメータを学習することによってシーケンスのキーフレームをマッチングできる新しい時間トランスフォーマーモジュール（Temporal Transformer Module: TTM）を提案します。これは学習ベースのモジュールであり、標準的なニューラルネットワークアーキテクチャに組み込むことができます。最後に、空間特徴量と時間特徴量を個別に扱いながら最終結果のためにそれらを融合するマルチストリーム完全結合層ベースのネットワーク設計を行いました。我々はChaLearn 2016, ChaLearn 2013, MSRC-12という3つのベンチマークジェスチャデータセットで手法を検証しました。実験結果は、骨格に基づくジェスチャ認識において最先端の性能と高い計算効率性が達成されたことを示しています。