ImFace : un modèle morphable 3D non linéaire du visage avec des représentations neuronales implicites

Des représentations précises de visages 3D sont bénéfiques à diverses applications en vision par ordinateur et en informatique graphique. Toutefois, en raison de la discrétisation des données et de la linéarité des modèles, il reste difficile de capturer avec précision les indices d'identité et d'expression dans les travaux actuels. Ce papier présente un nouveau modèle morphable 3D de visage, nommé ImFace, conçu pour apprendre un espace non linéaire et continu à l’aide de représentations neuronales implicites. Il met en œuvre deux champs de déformation explicitement désentrelacés afin de modéliser respectivement des formes complexes associées à l’identité et à l’expression, et propose une stratégie d’apprentissage améliorée pour étendre les embeddings d’expression, permettant ainsi des variations plus diversifiées. Nous introduisons également un champ de mélange neuronal (Neural Blend-Field) pour capturer des détails complexes en combinant de manière adaptative une série de champs locaux. En complément d’ImFace, une pipeline de prétraitement efficace est proposée pour résoudre le problème du besoin de maillages étanches dans les représentations implicites, permettant ainsi, pour la première fois, leur utilisation avec des surfaces faciales courantes. Des expériences abondantes sont menées afin de démontrer l’avantage de ImFace.