人間の形状と姿勢のエンドツーエンド回復

私たちは、単一のRGB画像から人間の全身3Dメッシュを再構築するためのエンドツーエンドフレームワークであるHuman Mesh Recovery (HMR)について説明します。現在の多くの手法が2Dまたは3Dジョイント位置を計算するのに対し、我々は形状と3Dジョイント角度によってパラメータ化された、より豊かで有用なメッシュ表現を生成します。主な目的はキーポイントの再投影損失を最小化することです。これにより、モデルは2Dアノテーションのみを持つ野生環境の画像を使用して訓練することができます。しかし、再投影損失だけではモデルが非常に制約不足になります。本研究では、この問題に対処するために、大規模な3D人間メッシュデータベースを使って人間の身体パラメータが実際かどうかを判断する敵対者（adversary）を導入しました。HMRは、ペアされた2D-to-3D監督を使用した場合でも使用しない場合でも訓練できることが示されています。中間的な2Dキーポイント検出に依存せず、画像ピクセルから直接3Dポーズと形状パラメータを推論します。人物が含まれるバウンディングボックスが与えられれば、モデルはリアルタイムで動作します。私たちは様々な野生環境の画像に対してアプローチを示し、3Dメッシュを出力する以前の最適化ベースの手法よりも優れた結果を得ました。また、3Dジョイント位置推定や部位セグメンテーションなどのタスクにおいても競争力のある結果を示しています。