2ヶ月前

構造認識型ヒューマンアクション生成

Yu, Ping ; Zhao, Yang ; Li, Chunyuan ; Yuan, Junsong ; Chen, Changyou
構造認識型ヒューマンアクション生成
要約

長距離の骨格ベースの人間行動生成は、1フレームの小さな偏差が変形した行動シーケンスを引き起こす可能性があるため、難問となっています。既存の多くの手法はビデオ生成からアイデアを借りていますが、これらの手法は単純に骨格ノード/関節を画像のピクセルとして扱い、フレーム間およびフレーム内の豊富な構造情報を見逃しているため、潜在的に歪んだ行動が生じる可能性があります。グラフ畳み込みネットワーク(GCNs)は、構造情報を活用して構造表現を学習する有望な方法です。しかし、空間と時間の両方で連続的な行動シーケンスに対処するために直接GCNsを使用することは困難であり、行動グラフが非常に大きくなる可能性があるためです。この問題を克服するために、我々はGCNsの変種を提案し、強力な自己注意機構を活用して時間空間における完全な行動グラフを適応的に疎化します。我々の手法は重要な過去のフレームに動的に注目し、疎なグラフを作成してGCNフレームワークに適用することで、行動シーケンス内の構造情報を効果的に捉えることができます。広範囲にわたる実験結果により、既存の手法と比較して我々の手法が2つの標準的人間行動データセットにおいて優れていることが示されています。