Ego3DPose: 両眼中心視点から3次元の手がかりを捉える

私たちは高精度の双眼中心視点3次元姿勢再構成システム「Ego3DPose」を提案します。双眼中心視点の設定は、実用性と有用性が高く、様々な応用分野で活用される可能性がありますが、未だ十分に研究されていません。この設定では、視点歪み、重度の自己遮蔽、および中心視点2次元画像における関節の限られた視野範囲により、姿勢推定精度が低くなるという問題がありました。本研究では、中心視点双眼入力に含まれる重要な3次元情報であるステレオ対応と透視効果が無視されていることに注目しました。現行の手法は2次元画像特徴に大きく依存しており、3次元情報を暗黙的に学習することで、一般的な動作への偏りを生じさせ、全体的な精度が低下しています。これらの課題に対処するために、私たちは2つの新しいアプローチを提案します。まず、各部位ごとに独立してその双眼ヒートマップから姿勢を推定するパスを持つ二重パスネットワークアーキテクチャを設計しました。全身情報が提供されないことで、訓練された全身分布への偏りを軽減できます。次に、身体部位の中⼼視点表示が強い透視変動（例えばカメラに近い手は非常に大きく表示される）を持つことを活⽤します。私たちは三角法を使用した新しい透視意識表現を提案し、ネットワークが四肢の3次元向きを推定できるようにしました。最後に、これら2つの技術をシナジーさせるエンドツーエンドの姿勢再構成ネットワークを開発しました。包括的な評価結果は、「UnrealEgo」データセットにおいてMPJPE（平均関節位置誤差）が23.1%削減され、「Ego3DPose」が最先端モデルを上回ることを示しています。質的結果は、さまざまな状況や課題に対する当方アプローチの優位性を強調しています。