2ヶ月前

3D アクション認識のための骨格シーケンスの新しい表現

Qiuhong Ke; Mohammed Bennamoun; Senjian An; Ferdous Sohel; Farid Boussaid
3D アクション認識のための骨格シーケンスの新しい表現
要約

本論文では、骨格シーケンス(すなわち、ヒューマンボディの関節の3次元軌道)を用いた3次元動作認識の新方法を提案します。提案手法はまず、各骨格シーケンスを深層ニューラルネットワークを使用した空間時間特徴学習のために、複数フレームからなる3つのクリップに変換します。各クリップは、骨格シーケンスの円筒座標系の1つのチャネルから生成されます。生成されたクリップの各フレームは、全体の骨格シーケンスの時間情報を表現し、特定の関節間の空間的な関係性を含みます。全クリップには異なる空間的な関係性を持つ複数フレームが含まれており、これによりヒューマンボディの骨格構造に関する有用な空間情報が提供されます。私たちは深層畳み込みニューラルネットワークを使用して、生成されたクリップのフレームから骨格シーケンスの長期的な時間情報を学習することを提案します。その後、マルチタスク学習ネットワーク (MTLN) を用いて、生成されたクリップのすべてのフレームを並列に処理し、空間構造情報を組み込んで動作認識を行うことを提唱します。実験結果は明確に示しており、提案された新しい表現と特徴学習手法が3次元動作認識において効果的であることが確認されています。

3D アクション認識のための骨格シーケンスの新しい表現 | 最新論文 | HyperAI超神経