単眼リアルタイム全身キャプチャにおける部位間相関の活用

本稿では、単一のカラーカメラ画像から全身の形状と運動、および動的な3D顔モデルを同時に推定する、リアルタイムでの全身スキャンを実現する初めての手法を提案する。本手法は、身体と手の間の相関関係を高効率に活用する新たなニューラルネットワークアーキテクチャを採用している。従来の手法とは異なり、本手法は手、身体、顔の各部位に特化した複数のデータセットを統合的に学習するが、同時にすべての部位がアノテーションされているデータを必要とせず、このようなデータは十分な多様性を確保する上で極めて困難である。このようなマルチデータセット学習の可能性により、優れた汎化性能が実現可能となる。従来の単一カメラによる全身推定手法と比較して、本手法は統計的顔モデルの形状、表情、アルベド、照明パラメータを推定することで、より表現力豊かな3D顔の幾何形状と色再現を可能にしている。本手法は公開ベンチマークにおいて競争力のある精度を達成するとともに、従来手法に比べて大幅に高速であり、さらに顔の再構成結果もより完全である。