自己監督学習とレイトレーシングを用いた高忠実度モノクロ顔再構成：豊かな反射特性の実現

一般的な照明条件下における単眼画像からの頑健な顔再構成は、依然として大きな課題である。深層ニューラルネットワークエンコーダと微分可能レンダリングを組み合わせた手法により、幾何、照明、反射特性の高速な単眼再構成が可能となり、自己教師あり学習を用いることでより頑健性と一般化性能が向上した。しかし、これらの手法は微分可能なラスタライゼーションに基づく画像形成モデルおよびその背後にあるシーンパラメータ化により、ラムベルティアンな顔の反射特性に限定され、形状の細部表現が不十分であるという制約がある。近年では、古典的な最適化ベースのフレームワーク内にレイトレーシングを導入した単眼顔再構成が提案され、最先端の性能が達成された。しかしながら、最適化ベースのアプローチは本質的に遅く、頑健性に欠けるという課題を抱えている。本論文では、前述の手法を基盤とし、一般シーンにおいて顔再構成の品質と頑健性を大幅に向上させる新しい手法を提案する。本手法は、CNNエンコーダと微分可能なレイトレーサーを組み合わせることで、より高度な個別化された拡散反射率および鏡面反射率の推定、より洗練された照明モデル、そして現実的な自己影の表現を可能にした。これにより、特に困難な照明条件下でも、形状、外観、照明の再構成品質において飛躍的な向上が実現された。一貫性のある顔属性の再構成を実現した本手法は、リライトや自己影除去といった実用的な応用を可能にした。最先端手法と比較して、本手法の結果はより高い精度と信頼性を示しており、アプローチの有効性が裏付けられている。