MoSAR：微分シャドウを用いた単眼自己教師付きアバター再構成モデル

ポートレート画像からアバターを再構築することは、マルチメディア分野において多くの応用を持つが、依然として困難な研究課題である。1枚の画像から反射率マップおよび幾何形状を抽出することは、不適切な問題（ill-posed）とされる。幾何形状の復元は一対多のマッピング問題であり、反射率と照明の区別（disentangle）も困難である。正確な幾何形状および反射率は、光ステージ（light stage）と呼ばれる制御された環境下で取得可能であるが、このような方法による大規模なデータセットの収集は費用がかかりすぎる。さらに、こうしたデータのみを用いて学習すると、実世界（in-the-wild）の画像に対しては一般化性能が著しく低下する。このような状況を踏まえ、本研究では単眼画像から3Dアバターを生成する手法「MoSAR（Monocular Shape and Reflectance）」を提案する。本手法は、光ステージデータと実世界画像データの両方から学習可能な半教師付き学習スキームを採用し、一般化性能の向上を実現する。これは、新規の微分可能なシャドウイング（shading）定式化を用いることで達成される。本研究では、提案手法が顔の内在的パラメータ（intrinsic face parameters）を効果的に分離できることを示し、再照明可能なアバターの生成を可能にした。その結果、MoSARは従来の最先端手法よりもより豊かな皮膚反射率マップを推定し、より現実的なアバターを生成することに成功した。また、本研究では、10,000人の被験者に対して拡大されたスケールで内在的顔属性（拡散反射、鏡面反射、環境遮蔽、半透明性マップ）を提供する、世界初の公開データセット「FFHQ-UV-Intrinsics」を新たに構築した。プロジェクトウェブサイトおよびデータセットは以下のリンクから公開されている：https://ubisoft-laforge.github.io/character/mosar/