SMAP: 単一ショット多人数絶対3D姿勢推定

単一のRGB画像から絶対スケールを含む複数人物の3次元姿勢を復元することは、単一視点からの固有の奥行きとスケールの曖昧さにより、困難な問題となっています。この曖昧さを解消するためには、身体サイズ、シーンレイアウト、および人物間関係などの全画像にわたる様々な手がかりを集める必要があります。しかし、これまでの多くの手法は、まず2次元姿勢検出を行い、その後で各検出された人物に対して個別に3次元姿勢とスケールを回帰するトップダウン方式を採用しており、全体的なコンテキスト情報を無視しています。本論文では、まず身体部位の2.5次元表現を回帰し、その後これらの2.5次元表現に基づいて深度認識部品関連アルゴリズムを使用して3次元絶対姿勢を再構築する新しいシステムを提案します。このような一発勝負のボトムアップ方式は、システムが人物間の深度関係についてよりよく学習し推論できるようにし、3次元および2次元姿勢推定の精度を向上させます。実験結果は、提案手法がCMU PanopticおよびMuPoTS-3Dデータセットにおいて最先端の性能を達成しており、野生環境でのビデオにも適用可能であることを示しています。