要約
私たちは3次元人体全身姿勢推定のためのベンチマークを提示します。このベンチマークでは、顔、手、体幹、足を含む全身の正確な3次元キーポイントを特定することが求められます。現在、完全にアノテーションされ且つ正確な3次元全身データセットが不足しているため、深層ネットワークは特定の部位ごとに個別に訓練されるか、またはパラメトリックボディモデルによって提供される疑似真値に依存していますが、これらの方法は検出ベースの手法ほど正確ではありません。これらの問題を克服するために、COCO Wholebodyレイアウトを使用してHuman3.6Mデータセットの全身アノテーションを提供するHuman3.6M 3D WholeBody (H3WB) データセットを導入します。H3WBは10万枚の画像に対して133の全身キーポイントアノテーションを含んでおり、これは私たちが開発した新しいマルチビューパイプラインにより可能となりました。また、以下の3つのタスクを提案します：i) 2次元完全全身姿勢から3次元全身姿勢へのリフティング（変換）、ii) 2次元不完全全身姿勢から3次元全身姿勢へのリフティング（変換）、iii) 単一RGB画像からの3次元全身姿勢推定です。さらに、これらのタスクに対する人気のある手法によるいくつかのベースライン結果も報告します。また、TotalCaptureの自動化された3次元全身アノテーションも提供し、実験的にH3WBと組み合わせて使用することで性能向上に寄与することを示しています。コードとデータセットは https://github.com/wholebody3d/wholebody3d で公開されています。