8日前

メトリカルな人間の顔再構成に向けて

Wojciech Zielonka, Timo Bolkart, Justus Thies
メトリカルな人間の顔再構成に向けて
要約

顔の再構成とトラッキングは、AR/VR、人間-機械インタラクション、医療応用など多くの分野における基盤技術である。これらの応用の多くは、特に再構成された被験者が計測的な文脈(すなわち、サイズが既知の参照物体が存在する状況)に置かれる場合に、形状の計測的に正確な予測に依存している。また、被験者の距離や寸法を測定するすべての応用(たとえば、仮想的にメガネフレームをフィットさせる場合)においても、計測可能な再構成が不可欠である。現在の最先端の単一画像からの顔再構成手法は、大規模な2D画像データセットを自己教師学習の形で用いて訓練されている。しかし、透視投影の性質上、これらの手法は実際の顔の寸法を再構成することができず、場合によっては平均的な人間の顔を予測する手法の方が計測的な観点で優れている。実際の顔形状を学習するためには、教師あり学習の枠組みを採用すべきだと主張する。しかし、このタスクに対する大規模な3Dデータセットは存在しないため、我々は小規模および中規模のデータベースを手作業でアノテーションし、統合した。得られた統合データセットは依然として中規模であり、2,000人以上の個人を含むが、これを単独で訓練すると過学習が生じる。そこで、大規模な2D画像データセットで事前学習された顔認識ネットワークを活用した。このネットワークは、異なる顔に対して明確な特徴を抽出でき、表情、照明、カメラの変化に対して高いロバスト性を有している。これらの特徴を用いて、教師あり学習の形で顔形状推定器を訓練することで、顔認識ネットワークのロバスト性と汎化能力を継承した。本研究で提案する手法、MICA(MetrIC fAce)は、現在の計測的でないベンチマークおよび我々が構築した計測的ベンチマークの両方において、最先端手法を大きく上回っている。具体的には、NoWベンチマークにおいて平均誤差が15%および24%低く、顕著な性能向上を達成した。