GLAMR: 動的カメラを使用した全球的な遮蔽認識人間メッシュ回復

単一動画から3次元の全人的メッシュを回復する手法を提案します。この手法は、動的なカメラで記録された映像において、深刻かつ長期的な被覆にも対応し、人間がカメラの視野範囲外に移動した場合でも追跡が可能です。これを実現するために、まず深層生成型モーション補完器を提案します。この装置は、可視化された動きに基づいて被覆された人間の体の動きを自己回帰的に補完します。さらに、以前の研究とは異なり、動的なカメラを使用しても一貫したグローバル座標系で人間のメッシュを再構築します。人間の動きとカメラ姿勢の同時再構築は制約不足であるため、局所的な身体運動に基づいてグローバルな人間軌道を生成するグローバル軌道予測器を提案します。予測された軌道をアンカーとして使用し、2Dキーポイントなどのビデオ証拠に合わせて予測された軌道を洗練し、カメラ姿勢を最適化するためのグローバル最適化フレームワークを提示します。動的なカメラを使用した困難な室内データセットや野外データセットでの実験結果は、提案手法がモーション補完およびグローバルメッシュ回復において従来の方法よりも大幅に優れていることを示しています。