HyperAIHyperAI

Command Palette

Search for a command to run...

TexturePose: テクスチャ一貫性による人間メッシュ推定の監督

Georgios Pavlakos Nikos Kolotouros Kostas Daniilidis

概要

本研究はモデルベースの人間の姿勢推定の問題に取り組んでいます。最近の手法では、パラメトリックな人間体モデルのパラメータを画像から直接回帰する方向で著しい進展が見られています。しかし、3D形状の真値を持つ画像が存在しないため、関連する手法は2Dアノテーションや複雑なアーキテクチャ設計に依存しています。本研究では、自然画像中に無料で利用可能な追加の手がかりがあることを提唱します。つまり、アノテーションを増やすことなく、またはネットワークアーキテクチャを変更することなく利用できる手がかりです。私たちは異なるフレーム(または視点)間での人物の外観の一貫性を利用した自然な形式の監督を提案します。この一見微々たる且つしばしば見落とされる手がかりは、モデルベースの姿勢推定において大きな役割を果たします。私たちが使用するパラメトリックモデルにより、各フレームに対してテクスチャマップを計算することができます。人物のテクスチャがフレーム間で劇的に変化しないと仮定すると、新しいテクスチャ一貫性損失を適用できます。これは、各フレームにおいてテクスチャマップ上の各点が同じテクスチャ値を持つように制約します。テクスチャが共通のテクスチャマップ空間に転送されるため、カメラ運動の計算が必要になることはありませんし、フレーム間の一貫性について仮定する必要もありません。これにより、単眼ビデオから多視点画像まで様々な設定で提案された監督方法を使用することが可能になります。我々は同程度かそれ以上のアノテーションを必要とする強力な基線手法と比較し、一貫してそれらを上回る結果を得ています。同時に、異なるベンチマークにおいてモデルベースの人間姿勢推定手法の中で最先端の成果を達成しています。プロジェクトウェブサイトには動画、結果、コードなどが掲載されており、以下のURLでアクセスできます: https://seas.upenn.edu/~pavlakos/projects/texturepose.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています