要約
多視点画像から絶対3次元人間ポーズを復元する手法について紹介します。本手法では、モデルに多視点幾何学的先験情報を組み込むことで、以下の2つの独立したステップで構成されています。(1) 多視点画像における2次元ポーズの推定と (2) その多視点2次元ポーズから3次元ポーズの復元です。まず、CNNにクロスビュー融合スキームを導入し、複数の視点での2次元ポーズを共同で推定します。これにより、各視点の2次元ポーズ推定は他の視点からの情報によって既に恩恵を受けます。次に、多視点2次元ポーズから3次元ポーズを復元するための再帰的ピクトリアルストラクチャーモデルを提案します。このモデルは計算コストを抑えつつ、段階的に3次元ポーズの精度を向上させます。我々は本手法をH36MおよびTotal Captureという2つの公開データセットで評価しました。これらのデータセットにおける平均関節位置誤差はそれぞれ26mmと29mmであり、現行の最先端技術に対して大幅な改善が見られました（H36M: 26mm 対 52mm, Total Capture: 29mm 対 35mm）。当該コードは \url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch} にて公開されています。