単一ショット多人数3次元姿勢推定モノクロRGBから

私たちは、単一のRGBカメラから一般的なシーンにおける複数人の3次元姿勢推定を行う新しいワンショット手法を提案します。当手法では、新しい遮蔽に強いポーズマップ（Occlusion-Robust Pose-Maps: ORPM）を使用しており、他の人物や物体による強い部分的な遮蔽下でも全身の姿勢推定が可能です。ORPMは、シーン内のすべての人々の3次元関節位置を符号化する一定数のマップを出力します。身体部位の関連付けにより、明示的なバウンディングボックス予測なしで任意の人数の3次元姿勢を推定することができます。当手法の学習のために、我々はMuCo-3DHPという大規模な訓練データセットを導入しました。これは、複雑な多人物間相互作用と遮蔽を示す実際の画像を初めて大規模に提供するデータセットです。私たちは、マルチビューパフォーマンスキャプチャから得られた真値を持つ個々の人物の画像を合成することで、大量の多人物画像を作成しました。当手法は、新たな挑戦的な3次元アノテーション付き多人物テストセットMuPoTs-3Dで評価され、最先端の性能を達成しています。さらに、多人物3次元姿勢推定に関する研究を促進するために、新規データセットと関連コードを研究目的で公開いたします。