HMP: 動画からのポーズと形状推定のための手の動きの事前情報

人間が世界とどのように相互作用するかを理解するためには、正確な3次元手の姿勢推定が必要です。この課題は、手の高い関節度、頻繁な被覆、自己被覆、および急速な動きによって複雑化します。既存の方法の多くは単一画像入力に依存していますが、ビデオには前述の問題に対処する有用な手がかりがあります。しかし、現行のビデオベースの3次元手データセットは、野生環境でのシナリオへの汎化に十分な訓練用フィードフォワードモデルを提供できません。一方で、AMASSなどの大規模な人間動作キャプチャデータセットには手の動きも含まれており、多様かつ高品質な手の動きが特徴です。そこで、AMASSデータセットに基づいて訓練された手専用の生成的運動事前知識を開発しました。この運動事前知識は潜在最適化アプローチに従ってビデオベースの3次元手動作推定に使用されます。我々が統合した堅牢な運動事前知識により、特に被覆状況において性能が大幅に向上します。これは安定した時間的に一貫性のある結果を生み出し、従来の単一フレーム手法を上回ります。HO3DおよびDexYCBデータセットにおける定性的評価と定量的評価を通じて我々の手法の有効性を示しており、特にHO3Dの被覆に焦点を当てたサブセットについて重点的に説明しています。コードは以下のURLから入手可能です: https://hmp.is.tue.mpg.de