Vers la reconstruction métrique des visages humains

La reconstruction et le suivi du visage constituent une composante fondamentale de nombreuses applications en réalité augmentée (AR), réalité virtuelle (VR), interaction homme-machine ainsi que dans des domaines médicaux. La plupart de ces applications reposent sur une prédiction métriquement correcte de la forme du visage, en particulier lorsque le sujet reconstruit est intégré dans un contexte métrique (c’est-à-dire lorsqu’un objet de référence de taille connue est présent). Une reconstruction métrique est également nécessaire pour toute application nécessitant la mesure de distances et de dimensions du sujet (par exemple, pour ajuster virtuellement un cadre de lunettes). Les méthodes de pointe pour la reconstruction du visage à partir d’une seule image sont généralement entraînées sur de grands jeux de données 2D de manière auto-supervisée. Toutefois, en raison de la nature de la projection perspective, ces méthodes ne parviennent pas à reconstruire les dimensions réelles du visage, et certaines d’entre elles sont même surpassées par la simple prédiction de la moyenne du visage humain en termes de précision métrique. Pour apprendre la forme réelle du visage, nous proposons un schéma d’entraînement supervisé. Étant donné l’absence de jeu de données 3D à grande échelle pour cette tâche, nous avons annoté et unifié des bases de données de petite et moyenne taille. Le jeu de données ainsi obtenu reste de taille moyenne, comprenant plus de 2 000 identités, et un entraînement pur sur cette base entraînerait un surapprentissage. Ainsi, nous exploitons un réseau de reconnaissance faciale pré-entraîné sur un grand jeu de données 2D, qui extrait des caractéristiques distinctes pour chaque visage et est robuste aux variations d’expression, d’éclairage et de caméra. En utilisant ces caractéristiques, nous entraînons notre estimateur de forme faciale de manière supervisée, héritant ainsi de la robustesse et de la généralisation du réseau de reconnaissance faciale. Notre méthode, que nous appelons MICA (MetrIC fAce), surpassent largement les états de l’art en reconstruction, tant sur les benchmarks actuels non métriques que sur nos benchmarks métriques (réduction de 15 % et 24 % de l’erreur moyenne respective sur NoW).