W-HMR: 弱教師付きキャリブレーションを用いた世界空間における単眼人間メッシュ復元

単眼画像から3次元人間の動きを復元する従来の手法は、カメラ座標に依存しているため、実世界での応用において精度が不足することがしばしばあります。焦点距離ラベルの限られた可用性と多様性は、再構築された3次元人間体の誤りをさらに悪化させる要因となっています。これらの課題に対処するために、当研究ではW-HMR（Weak-supervised Human Motion Recovery）という弱教師あり校正手法を提案します。この手法は、ボディー歪み情報を基に「合理的な」焦点距離を予測し、正確な焦点距離ラベルの必要性を排除します。当アプローチは2次元教師あり監督の精度を向上させるとともに、復元精度も高めます。また、OrientCorrectモジュールも提案します。このモジュールは、世界空間における信頼性のある再構築のためにボディー方位を補正し、カメラ回転予測の不正確さによる誤差蓄積を回避します。当研究の貢献点には、新しい弱教師ありカメラ校正技術、効果的な方位補正モジュール、およびカメラ座標と世界座標における人間の動き復元の汎用性と精度を大幅に向上させる分離戦略が含まれています。W-HMRの堅牢性は、様々なデータセットに対する広範な実験を通じて検証され、既存手法よりも優れていることが示されています。コードとデモンストレーションはプロジェクトページ（https://yw0208.github.io/w-hmr/）で公開されています。