要約
本論文は、RGB画像から単眼3次元人間形状と姿勢推定の問題を取り扱っています。この分野では姿勢予測精度において大きな進歩が見られますが、最先端の手法はしばしば不正確な体型を予測します。私たちは、この主な原因が野生環境（in-the-wild）での多様で正確な体型ラベルを持つ訓練データの不足にあると考えています。そこで、STRAPS (Synthetic Training for Real Accurate Pose and Shape) というシステムを提案します。このシステムは、シルエットや2D関節などの代理表現を入力として使用し、SMPL統計的体型モデルを使用して訓練中にオンザフライで生成される合成訓練データで訓練された形状と姿勢回帰ニューラルネットワークを利用することで、データ不足を克服します。また、訓練時にデータ拡張と破壊を行うことで、合成訓練入力とテスト時にキーポイント検出およびセグメンテーションCNNによって予測されるノイジーな実際の入力とのギャップを埋めます。我々のアプローチを評価するために、単眼人間形状推定用の挑戦的な評価データセットであるSports Shape and Pose 3D (SSP-3D) を作成し提供しています。このデータセットには、様々な体型を持つ緊密に着衣したスポーツ選手のRGB画像と、マルチフレーム最適化により得られた対応する疑似真値SMPL形状と姿勢パラメータが含まれています。実験結果から、STRAPSはSSP-3Dにおいて他の最先端手法よりも形状予測精度が高いことを示しており、同時に姿勢中心のデータセットや指標においても最先端と競争力を保っていることが確認できました。