要約
本論文では、単眼カメラを使用した新しい単眼レイベース3次元（Ray3D）絶対人間姿勢推定手法を提案します。単眼2次元姿勢入力から正確かつ汎用的な絶対3次元人間姿勢の推定は、不適切な問題です。この課題に対処するために、我々は入力をピクセル空間から3次元正規化されたレイに変換します。この変換により、当手法はカメラの内部パラメータの変化に対して堅牢性が向上します。また、野外環境でのカメラ外部パラメータの変動に対応するため、Ray3Dはカメラ外部パラメータを明示的に入力として取り扱い、3次元姿勢レイとカメラ外部パラメータの分布を同時モデリングします。この革新的なネットワーク設計が、Ray3Dアプローチの優れた汎用性の鍵となっています。絶対3次元キーポイント位置特定におけるカメラ内部および外部パラメータの変動が精度に与える影響を包括的に理解するため、我々は3つの単一人3次元ベンチマークと1つの合成ベンチマークで詳細な系統的な実験を行いました。これらの実験結果は、当手法が既存の最先端モデルを大幅に上回ることを示しています。当研究のコードと合成データセットは、https://github.com/YxZhxn/Ray3D で公開されています。