モノクロム動画からの物理ベースの3D人体ポーズ再構成における軌道最適化

単眼動画から物理的に現実的な関節構造を持つ人体の運動を推定するタスクに焦点を当てる。従来の物理的制約を考慮しない手法は、時間的に一貫性のない出力や運動アーティファクトを生じる傾向がある一方、最先端の物理ベースの手法は、制御された実験室内環境でのみ有効であることが示されており、あるいは足部に限定された簡略化された身体-床接触モデルしか扱えない。本論文では、ポーズ推定プロセスに完全機能を備えた物理エンジンを直接組み込むことにより、こうした課題をどのように克服できるかを検討する。制御されていない実世界のシーンを入力として、本手法は床面の位置と物理的ボディモデルの寸法を推定し、その後、軌道最適化を用いて物理的な運動を復元する。本手法の利点は、多様な床面特性を持つシーンに容易に一般化可能であり、身体の自己接触や、関節構造体とシーンジオメトリとの接触のあらゆる形態をサポートできる点にある。実験結果から、本手法はHuman3.6Mベンチマークにおいて既存の物理ベース手法と同等の性能を達成していることが示され、さらにAISTベンチマークのより複雑な動的運動や、制御されていないインターネット動画に対しても、再訓練なしに直接適用可能であることが確認された。