幾何学的ポーズアフォーダンス：シーン制約付き3Dヒューマンポーズ

単一画像からの人的姿勢の完全3D推定は、多くの最近の進歩にもかかわらず依然として難題である。本論文では、シーンの幾何学的な情報についての強い事前知識が姿勢推定精度を向上させるという仮説を検討する。この仮説を実証的に扱うために、我々は新しい$\textbf{Geometric Pose Affordance（幾何学的姿勢アフォーダンス）}$データセットを構築した。このデータセットには、人々が豊かな3次元環境と相互作用する多視点画像が含まれている。商用モーションキャプチャシステムを使用して、姿勢の金標準推定値を収集し、シーン自体の正確な幾何学的3D CADモデルを作成した。既存の画像から姿勢推定を行うフレームワークにシーン制約に関する事前知識を注入するために、我々は新しい視点ベースのシーン幾何学表現である$\textbf{multi-layer depth map（マルチレイヤー深度マップ）}$を導入する。これは、各カメラビュー線方向に沿って複数の表面出入り点を簡潔に符号化するためにマルチヒット・レイトレーシングを利用している。我々はマルチレイヤー深度情報を姿勢推定に統合するための2つの異なるメカニズムを提案する：1つ目は2D姿勢を完全3Dに引き上げるために使用される符号化されたレイ特徴量としての入力、2つ目は学習モデルが幾何学的に整合性のある姿勢推定値を好むように促す微分可能な損失関数である。実験結果から、これらの手法が特に遮蔽や複雑なシーン幾何学がある場合に3D姿勢推定精度を向上させることができることが示された。