xR-EgoPose: HMDカメラからのエゴセントリック3Dヒューマンポーズ

私たちは、ヘッドマウント型仮想現実装置の縁に設置された下方を向いた魚眼カメラから撮影された単眼画像からのエゴセントリック3次元身体姿勢推定の新しいソリューションを提案します。この特異な視点は、ユーザーの顔からわずか2cm離れた位置にあり、極端な自己遮蔽と強い透視効果による解像度の大きな違いが特徴的な独自の視覚的外観を持つ画像を生成します。私たちの貢献は二つあります。第一に、2D関節位置における変動する不確実性に対応するために特別に設計された新しいデュアルブランチデコーダーを持つエンコーダー-デコーダー構造を提案します。合成データセットと実世界データセットでの定量評価により、私たちの戦略が最先端のエゴセントリック姿勢推定手法よりも大幅な精度向上をもたらすことが示されています。第二に、多様な肌色、体型、衣装の人々が様々な背景や照明条件下で一連の動作を行う高品質レンダリング383Kフレームを提供する大規模かつ写真現実的な合成データセット - xR-EgoPose - を作成しました。私たちの実験では、新しい合成学習データCorpuses（原文: synthetic training corpus）内の高い変動性が実世界映像への良好な汎化性能につながり、真値付き実世界データセットにおいて最先端の結果を得ていることが示されています。さらに、Human3.6Mベンチマークでの評価では、私たち的方法は第三者視点からの3次元ヒューマンポーズ推定というより古典的な問題においてトップパフォーマンスを発揮する手法と同等の性能であることが確認されました。