TexturePose: テクスチャ一貫性による人間メッシュ推定の監督

本研究はモデルベースの人間の姿勢推定の問題に取り組んでいます。最近の手法では、パラメトリックな人間体モデルのパラメータを画像から直接回帰する方向で著しい進展が見られています。しかし、3D形状の真値を持つ画像が存在しないため、関連する手法は2Dアノテーションや複雑なアーキテクチャ設計に依存しています。本研究では、自然画像中に無料で利用可能な追加の手がかりがあることを提唱します。つまり、アノテーションを増やすことなく、またはネットワークアーキテクチャを変更することなく利用できる手がかりです。私たちは異なるフレーム（または視点）間での人物の外観の一貫性を利用した自然な形式の監督を提案します。この一見微々たる且つしばしば見落とされる手がかりは、モデルベースの姿勢推定において大きな役割を果たします。私たちが使用するパラメトリックモデルにより、各フレームに対してテクスチャマップを計算することができます。人物のテクスチャがフレーム間で劇的に変化しないと仮定すると、新しいテクスチャ一貫性損失を適用できます。これは、各フレームにおいてテクスチャマップ上の各点が同じテクスチャ値を持つように制約します。テクスチャが共通のテクスチャマップ空間に転送されるため、カメラ運動の計算が必要になることはありませんし、フレーム間の一貫性について仮定する必要もありません。これにより、単眼ビデオから多視点画像まで様々な設定で提案された監督方法を使用することが可能になります。我々は同程度かそれ以上のアノテーションを必要とする強力な基線手法と比較し、一貫してそれらを上回る結果を得ています。同時に、異なるベンチマークにおいてモデルベースの人間姿勢推定手法の中で最先端の成果を達成しています。プロジェクトウェブサイトには動画、結果、コードなどが掲載されており、以下のURLでアクセスできます: https://seas.upenn.edu/~pavlakos/projects/texturepose.