3D顔面再構築における高密度ランドマーク

ランドマークは顔解析においてしばしば重要な役割を果たすが、顔のアイデンティティや表情の多くの側面は、疎なランドマークのみでは十分に表現できない。したがって、より正確な顔再構築を実現するため、ランドマークはしばしば深度画像などの追加信号や、微分可能レンダリング（differentiable rendering）などの技術と組み合わせて用いられる。では、より多くのランドマークを使用するという単純なアプローチで十分ではないだろうか？本研究では、従来の10倍以上のランドマーク（頭部全体、眼や歯を含む）を高精度で予測する初めての手法を提案する。この成果は、完全なランドマークアノテーションが保証される合成データを用いて実現された。この高密度ランドマークに形態可変モデル（morphable model）をフィッティングすることで、野外環境下における単一カメラによる3D顔再構築において、最先端の性能を達成した。また、高密度ランドマークがフレーム間における顔形状情報を統合する理想的な信号であることを実証し、単一カメラおよびマルチビューの両環境において、正確かつ表現力豊かな顔パフォーマンスキャプチャを実現した。本手法は極めて効率的であり、単一のCPUスレッド上で150FPS以上の速度で高密度ランドマークの予測と3D顔モデルのフィッティングが可能である。詳細は当該ウェブサイトをご覧ください：https://microsoft.github.io/DenseLandmarks/