構文誘導型ジェネレーティブ埋め込みを用いたゼロショット骨格動作認識

私たちは、新たな構文ガイダンス付き生成手法であるSynSE（Syntax-guided Sequential Embedding）を紹介します。このエンドツーエンドのアプローチは、関連するモダリティ（視覚、言語）内および間で制約された、段階的に洗練された生成埋め込み空間を学習します。モダリティ間の制約は、行動シーケンスの埋め込みと対応する行動説明内の品詞タグ付けされた単語の埋め込みとの間に定義されます。私たちはSynSEを、骨格ベースの行動シーケンス認識タスクに適用します。私たちの設計選択肢により、SynSEは組み合わせ的に一般化することが可能となります。つまり、訓練中に遭遇しなかった単語を含む行動説明を持つシーケンスを認識することができます。また、信頼度に基づくゲーティングメカニズムを通じて、より困難なGeneralized Zero-Shot Learning (GZSL)問題への拡張も行っています。私たちは大規模なNTU-60およびNTU-120骨格行動データセットにおいて複数の分割を使用して、ゼロショット骨格行動認識結果を初めて提示しています。私たちの結果は、強力な基準モデルと比較して、NTU-60およびNTU-120データセットにおけるZSLおよびGZSL設定の両方で最先端の性能を示しています。コードと事前学習済みモデルはhttps://github.com/skelemoa/synse-zsl で公開されています。