2ヶ月前

単一の2K解像度画像からの高忠実度3Dヒューマンデジタル化

Han, Sang-Hun ; Park, Min-Gyu ; Yoon, Ju Hong ; Kang, Ju-Mi ; Park, Young-Jae ; Jeon, Hae-Gon
単一の2K解像度画像からの高忠実度3Dヒューマンデジタル化
要約

高品質の3次元人体再構築には、高忠実度かつ大規模な学習データと、高解像度入力画像を効果的に活用する適切なネットワーク設計が必要です。これらの問題に対処するために、私たちは単純ながら効果的な3次元人体デジタル化手法である2K2Kを提案します。この手法は、大規模な2K人体データセットを構築し、2K解像度の画像から3次元人体モデルを推論します。提案手法は、人体の全体形状とその詳細を別々に回復します。低解像度深度ネットワークは低解像度画像から全体構造を予測し、部位ごとの画像から法線へのネットワークは3次元人体構造の詳細を予測します。高解像度深度ネットワークは、全体の3次元形状と詳細構造を統合して、高解像度の前面および背面深度マップを推論します。最後に、市販のメッシュジェネレーターを使用して完全な3次元人体モデルを再構築します。これらのモデルは以下のURLで公開されています: https://github.com/SangHunHan92/2K2K。さらに、研究目的のためにテクスチャマップ、3次元関節位置、SMPLパラメータが含まれる2,050個の3次元人体モデルも提供しています。実験では、様々なデータセットにおいて最近の研究と競合する性能を示しています。注:- SMPL (Skinned Multi-Person Linear) モデルは人間の体型やポーズを表現するための一般的な3Dボディモデルです。- 法線(normal)は表面の向きを表すベクトルで、グラフィックスやコンピュータビジョンでよく使用されます。

単一の2K解像度画像からの高忠実度3Dヒューマンデジタル化 | 最新論文 | HyperAI超神経