Pose2Mesh：2D人体ポーズからの3D人体ポーズおよびメッシュ回復のためのグラフ畳み込みネットワーク

近年の深層学習に基づく3次元人体ポーズおよびメッシュ推定手法の多くは、入力画像からSMPLやMANOなどの人体メッシュモデルのポーズおよび形状パラメータを回帰する。これらの手法には2つの主な課題がある。第一に、訓練データが制御された環境（例：実験室）から得られ、テストデータがリアルワールド環境（in-the-wild）から得られるため、画像の外観にドメインギャップが生じる点である。第二に、3次元回転の表現に関する問題により、ポーズパラメータの推定が極めて困難である点である。上記の課題を克服するため、本研究ではPose2Meshを提案する。これは、2次元人体ポーズを入力として、人体メッシュの頂点の3次元座標を直接推定する、新たなグラフ畳み込みニューラルネットワーク（GraphCNN）ベースのシステムである。2次元人体ポーズを入力として用いることで、人体の関節構造に関する重要な情報を得られる一方で、2次元と3次元のドメイン間で幾何学的性質が比較的均一であるという利点を活かす。さらに、本システムはGraphCNNを粗いから細かい段階へと段階的に適用することで、メッシュのトポロジーを十分に活用しつつ、3次元回転の表現に関する問題を回避する。我々は、Pose2Meshが複数のベンチマークデータセットにおいて、従来の3次元人体ポーズおよびメッシュ推定手法を上回ることを実証した。コードは以下のGitHubリポジトリにて公開されている：https://github.com/hongsukchoi/Pose2Mesh_RELEASE。