要約
全身3D人体メッシュ推定は、3D人体、手、顔を同時に再構築することを目的としています。いくつかの手法が提案されてきましたが、3D手（3Dの手首と指）の正確な推定は、2つの理由から依然として困難な課題です。第一に、3D手首の推定において、人体の運動学的チェーン（kinematic chain）が十分に考慮されていない点にあります。第二に、従来の手法では、指の3D回転推定に人体特徴量を用いているが、人体特徴量には指に関する情報がほとんど含まれていないためです。この課題を解決するため、本研究ではHand4Wholeを提案します。本手法は従来の手法に比べて2つの強みを持っています。第一に、関節特徴量を活用して3D関節回転を推定するモジュール「Pose2Pose」を設計しました。Pose2Poseを用いることで、Hand4Wholeは手のMP（中手骨基底関節）関節特徴量を活用し、3D手首を推定しています。これは、人体の運動学的チェーンにおいてMP関節が3D手首の回転に大きく寄与するためです。第二に、3D指の回転推定においては、人体特徴量を完全に排除しています。Hand4Wholeはエンドツーエンドで学習され、従来の全身3D人体メッシュ推定手法と比較して、はるかに優れた3D手の推定結果を達成しています。コードは以下のURLで公開されています：https://github.com/mks0601/Hand4Whole_RELEASE。