スパースなマルチビューカメラを用いた軽量な多人数全体運動捕捉

複数人における全体運動捕捉（total motion capture）は、重度の隠蔽（occlusion）、身体から顔および手部に至るまで異なる再構成粒度、急激な観測スケールの変化、および高速な身体運動といった課題を抱えており、非常に困難である。本研究では、スパースなマルチビューカメラのみを用いて、複数人間のインタラクティブなシナリオに対応可能な軽量な全体運動捕捉システムを提案する。新たな手部および顔部のブートストラップ（bootstrapping）アルゴリズムを導入することで、重度の隠蔽状況下でも手部および顔部の効率的な局所化と高精度な対応付けが可能となる。本手法は、ポーズ回帰（pose regression）とキーポイント検出（keypoints detection）の両方を活用し、ピクセル単位の精度を達成するための統一的な二段階パラメトリックフィッティング手法を新たに提案する。さらに、極めて自己隠蔽が生じる姿勢や密接な相互作用が発生する状況においては、次のフレームにピクセル単位の再構成情報をフィードバックすることで、より正確な対応付けを実現する新たなフィードバック機構を導入している。総じて、本研究は初めて軽量な全体捕捉システムを提案し、高速かつ堅牢かつ高精度な複数人全体運動捕捉を実現した。実験結果および評価から、本手法は従来の手法と比較して、スパースビュー環境下でもより高い精度を達成していることが示された。