要約
本稿では、複数視点画像から複数人の3Dポーズを推定するシンプルでありながら効果的な手法を提案する。提案手法の粗いから細かいまでのパイプラインは、まず複数のカメラ視点から得られるノイズを含む2D観測値を3D空間に統合し、その後、信頼度を考慮した多数決手法を用いて個々の人物インスタンスに割り当てる。最終的なポーズ推定は、高信頼度の多視点2D観測値と3D関節候補を結びつける新しい最適化スキームにより得られる。さらに、SMPLのような統計的パラメトリックボディモデルを、これらの3D関節候補に対する正則化事前知識として活用する。具体的には、3DポーズとSMPLパラメータを交互に最適化する手法を採用している。この際、パラメトリックモデルは不自然な3Dポーズ推定の修正や欠落した関節検出の補完を可能にするとともに、更新された3Dポーズがより良いSMPL推定の獲得を導く。2D観測値と3D観測値を統合する本手法は、最終的な3Dポーズが人物間の相対配置からより明確に分離され、2D検出のノイズに対してよりロバストであるため、高い精度と汎化性能を実現する。本手法は公開データセット上で体系的な評価を行い、最先端の性能を達成した。コードおよび動画はプロジェクトページにて公開される予定である：https://ait.ethz.ch/projects/2021/multi-human-pose/.