Une perte de forme perceptuelle pour la reconstruction 3D monoculaire du visage

La reconstruction 3D monoculaire du visage est un sujet largement étudié, et les approches existantes abordent ce problème soit par une inférence rapide de réseau neuronal, soit par une reconstruction itérative hors ligne de la géométrie faciale. Dans les deux cas, des fonctions d'énergie soigneusement conçues sont minimisées, généralement incluant des termes de perte tels qu'une perte photométrique, une perte de réprojection des points d'intérêt, et d'autres. Dans cette étude, nous proposons une nouvelle fonction de perte pour la capture monoculaire du visage, inspirée de la manière dont les humains perçoivent la qualité d'une reconstruction 3D du visage à partir d'une image donnée. Il est bien connu que l'ombrage fournit un indicateur fort de la forme 3D dans le système visuel humain. Par conséquent, notre nouvelle fonction de perte « perceptuelle » vise à évaluer la qualité d'une estimation 3D du visage en utilisant uniquement des indices d'ombrage. Notre fonction de perte est mise en œuvre sous forme de réseau neuronal style discriminateur qui prend en entrée une image faciale et un rendu ombragé de l'estimation géométrique, puis prédit un score qui évalue perceptuellement à quel point le rendu ombragé correspond à l'image donnée. Ce réseau « critique » opère uniquement sur l'image RGB et le rendu géométrique, sans nécessiter une estimation du facteur albedo ou de l'éclairage dans la scène. De plus, notre fonction de perte opère entièrement dans l'espace image et est donc indifférente à la topologie du maillage. Nous montrons comment notre nouvelle fonction de perte perceptuelle peut être combinée avec les termes énergétiques traditionnels pour l'optimisation 3D monoculaire du visage et la régression par réseau neuronal profond, améliorant ainsi les résultats actuels de pointe.