PIFuHD: 多段階ピクセルアライメント隠れ関数を用いた高解像度3Dヒューマンデジタル化

最近の画像ベースの3次元人間形状推定における進歩は、深層ニューラルネットワークによってもたらされた表現力の大幅な向上により駆動されています。現行の手法は実世界での応用可能性を示していますが、入力画像にしばしば含まれる詳細レベルの再構成を生成するにはまだ失敗しています。この制限は主に2つの対立する要件から生じていると主張します；正確な予測には広範なコンテキストが必要ですが、精密な予測には高解像度が必要です。現在のハードウェアのメモリ制約により、以前の手法では大域的な空間コンテキストをカバーするために低解像度の画像を入力として使用することが多く、その結果、精度が低い（または低解像度）3次元推定が生成されます。私たちはこの制限に対処するために、エンドツーエンドで学習可能な多段階アーキテクチャを提案しました。粗いレベルでは、全体像を低解像度で観察し、包括的な推論に焦点を当てます。これにより、細かいレベルでは高解像度の画像を観察して非常に詳細な幾何学形状を推定するためのコンテキストが提供されます。私たちは1k解像度の入力画像を完全に活用することで、単一画像の人間形状再構成において既存の最先端技術を大幅に上回ることを示しました。