ビデオからの自己注意3次元人間の姿勢と形状推定

ビデオから3次元の人間の姿勢と形状を推定するタスクについて考察します。既存のフレームベースの手法は著しい進歩を遂げていますが、これらの方法は各画像に対して独立して適用されるため、しばしば一貫性のない予測を導くことがあります。本研究では、3次元の人間の姿勢と形状推定に向けたビデオベースの学習アルゴリズムを提案します。当手法の重要な洞察は以下の2点です。第一に、時間的な予測の一貫性問題に対処するために、ビデオ内の時間情報を活用し、短距離および長距離のフレーム間依存関係を総合的に考慮する自己注意モジュールを提案します。これにより、時間的に一貫した推定結果が得られます。第二に、人間の動きをモデル化するために、隣接するフレーム間での滑らかな遷移を可能にする予測モジュールを使用します。当手法を3DPW、MPI-INF-3DHP、およびHuman3.6Mデータセットで評価しました。広範な実験結果は、当アルゴリズムが最先端の手法に対して有利に機能することを示しています。