100 FPS以上の速度で実現するマルチヒューマン3Dポーズ推定のためのクロスビュー追跡

複数人の3次元姿勢をリアルタイムで推定することは、コンピュータビジョン分野における古典的だが依然として挑戦的な課題である。その主な難しさは、異なる視点における2次元姿勢の対応付けに生じる曖昧さと、複数の人物が複数の視点に存在する場合に生じる膨大な状態空間にある。本論文では、複数のキャリブレーション済みカメラビューから複数人の3次元姿勢を推定するための新しい手法を提案する。本手法は、異なるカメラ座標系における2次元姿勢を入力とし、グローバル座標系における正確な3次元姿勢を推定することを目的としている。従来の手法が、各フレームにおいてすべての視点ペア間で2次元姿勢を再び从頭から対応付けを行うのに対し、本手法は動画における時間的整合性を活用し、2次元入力と3次元姿勢を直接3次元空間内でマッチングする。具体的には、各人物の3次元姿勢を保持し、視点間の複数人トラッキングを通じて逐次更新するという新しい定式化を提案する。このアプローチにより、精度と効率の両面で向上が実現され、広く用いられている公開データセットを用いた実験によりその有効性を示した。さらに本手法のスケーラビリティを検証するため、12～28台のカメラビューを含む新しい大規模な複数人データセットを構築した。装飾的な技術を用いずに、12台のカメラでは154 FPS、28台のカメラでは34 FPSの処理速度を達成し、大規模なリアルワールド応用に対応できる能力を示している。提案したデータセットは、https://github.com/longcw/crossview_3d_pose_tracking にて公開されている。