要約
本稿では、3Dシーンと過去の人体運動を入力として、将来の人体ポーズを予測する「シーンに配慮した3D人体運動予測」というタスクに取り組む。このタスクの主要な課題は、人体とシーンの間で一貫性を保ち、人体とシーンの相互作用を適切に捉えることにある。従来のアプローチは、このような相互作用を間接的にモデル化するにとどまっており、局所的なポーズと全体的な運動の間に明示的な制約が存在しないため、「ゴーストモーション」といったアーティファクトが生じがちである。本研究では、この問題を解決するため、人体とシーンの接触関係を明示的にモデル化することを提案する。具体的には、各時刻における各関節と3Dシーンの各点との接触関係を捉える「距離に基づく接触マップ」を導入する。その後、まず過去の接触マップとシーンの点群から将来の接触マップを予測する第1段階、そして予測された接触マップを条件として将来の人体ポーズを予測する第2段階からなる2段階パイプラインを構築する。学習段階では、接触マップと将来のポーズを用いて定義された事前分布を用いて、全体的な運動と局所的なポーズの間に一貫性を明示的に促進する。実験結果から、合成データおよび実データの両方において、本手法は最先端の人体運動予測および人体生成手法を上回る性能を達成した。本研究のコードは、https://github.com/wei-mao-2019/ContAwareMotionPred にて公開されている。