人々の統合：3Dと2Dの人間表現のループを閉じる

3Dモデルは、人間の身体の異なる表現に共通の基盤を提供します。一方、堅牢な2D推定が「野生」状態での3D適合を獲得する強力なツールであることが証明されています。しかし、詳細度によっては、大規模な2D推定器の学習用にラベル付きデータを取得することが困難または不可能な場合があります。この問題に対するハイブリッドアプローチを提案します：最近導入されたSMPLifyメソッドの拡張版を使用して、複数の人間姿勢データセットに対して高品質な3D身体モデルの適合を得ます。人間のアノテーターは、良い適合と悪い適合のみを分類します。この手順により、豊富な注釈を持つ初期データセットUP-3Dが生成されます。包括的な実験を通じて、このデータがどのように使用されて差別的モデルを学習し、前例のない詳細度で結果を生成するかを示します：私たちのモデルは身体上で31セグメントと91ランドマーク位置を予測します。91ランドマーク姿勢推定器を使用して、「野生」状態での3D人間姿勢と形状推定において最先端の結果を提示します。これには学習データ量が1桁少ないだけでなく、適合プロセスにおける性別や姿勢に関する前提仮定も必要ありません。UP-3Dはこれらの改善された適合によって数量と質を向上させることができることを示し、システムの大規模展開が可能になります。研究目的のためにデータ、コードおよびモデルが利用可能です。