I2UV-HandNet：正確で高忠実度な3D手部メッシュモデリングを実現する画像からUVマップ予測ネットワーク

カラーデータから高精度かつ高忠実度の3D人間の手を再構築することは、人間-コンピュータインタラクションやバーチャルリアリティ応用において現実的な仮想手を再現する上で中心的な役割を果たす。現在の手法では、多様な手のポーズや重度の自己遮蔽（occlusion）の影響により、再構築結果の精度および忠実度に課題が残っている。本研究では、正確な手のポーズ・形状推定および3D手のスーパーレゾリューション再構築を実現するため、I2UV-HandNetモデルを提案する。具体的には、初めてUVベースの3D手形状表現を導入する。RGB画像から3D手メッシュを復元するため、入力画像を画像間変換（image-to-image translation）のアプローチで処理し、AffineNetによりUV位置マップを予測するネットワークを設計した。さらに、高忠実度の形状を得るために、AffineNetが出力する低解像度UVマップを高解像度へ変換するSRNetを追加で活用した。本研究では、初めてUVベースの手形状表現の特徴表現能力を実証した。実験の結果、提案手法は複数の困難なベンチマークにおいて最先端の性能を達成した。