2ヶ月前

微細な補助情報に基づく双方向プロンプトを用いたゼロショット骨格動作認識

Yang Chen; Jingcai Guo; Tian He; Ling Wang
微細な補助情報に基づく双方向プロンプトを用いたゼロショット骨格動作認識
要約

骨格ベースのゼロショット行動認識は、既知の骨格ベースの行動から学習した事前知識と、既知および未知のカテゴリで共有される意味記述空間に基づいて未知の人間の行動を認識することを目指しています。しかし、これまでの研究では、既知の骨格表現空間と意味記述空間との間の粗粒度な橋渡しに焦点を当てており、これらの2つの空間の細粒度な対応関係を無視していたため、類似度が高い行動カテゴリを区別する際の性能が最適でないという問題がありました。これらの課題に対処するために、私たちは側情報と双方向プロンプト学習を用いた骨格ベースの細粒度なゼロショット行動認識(STAR)手法を提案します。具体的には、1) 骨格をそのトポロジー構造に基づいていくつかの部分に分解し、人間の身体運動に関する多部位記述に関連する側情報を導入して、骨格と意味空間との間での細粒度な対応関係を実現します;2) 視覚属性プロンプトと意味部位プロンプトを設計し、それぞれ骨格空間内のクラス内コンパクト性と意味空間内のクラス間分離性を向上させることで高類似度行動を区別します。広範囲にわたる実験結果は、私たちの手法がNTU RGB+D, NTU RGB+D 120, およびPKU-MMDデータセットにおいてZSL(Zero-Shot Learning)およびGZSL(Generalized Zero-Shot Learning)設定で最先端の性能を達成していることを示しています。