SimpleEgo: エゴセントリックカメラからの確率的な身体姿勢の予測

私たちの研究は、頭部装着デバイス（HMD）に取り付けられた下向きカメラからのエゴセントリックな人間の姿勢推定問題に焦点を当てています。このシナリオは、身体の一部が画像の外に出たり、隠れたりすることが多いため、非常に困難です。従来の解決策では、広範囲を捉えるために魚眼レンズを使用していましたが、これはハードウェア設計上の課題を引き起こす可能性があります。また、各関節の2Dヒートマップを予測し、それを3D空間に変換して自己遮蔽に対処していましたが、これには大規模なネットワークアーキテクチャが必要で、リソース制約のあるHMDでの実装は現実的ではありません。私たちは、通常の直線的なカメラレンズで撮影された画像から姿勢を予測します。これによりハードウェア設計上の問題が解消されますが、身体の一部がフレーム外になることがあります。そのため、パラメータ化された身体モデルにおける関節回転を行列フィッシャー分布として直接回帰します。これにより姿勢の不確実性を量化し、フレーム外や遮蔽された関節を説明することができます。また、2Dヒートマップの計算が必要なくなるため、簡素化されたDNNアーキテクチャを使用でき、計算量も少なくなります。エゴセントリックなデータセットで直線的なカメラレンズを使用したものが不足していることから、私たちは6万枚のステレオ画像を含む「SynthEgo」データセットを導入しました。このデータセットには高多様性な姿勢、形状、衣装、肌色が含まれています。私たちの手法はこの困難な設定において最先端の結果を達成しており、全体的に平均各関節位置誤差を23%削減し、下半身では58%削減しています。さらに、私たちのアーキテクチャは現在の最先端技術よりも8倍少ないパラメータ数を持ち、処理速度も2倍速くなっています。実験結果によると、「SynthEgo」データセットでの学習によって微調整なしで実世界画像への良好な汎化性能が得られることを示しています。