Reconstruction 3D du visage avec des repères denses

Les points de repère jouent souvent un rôle clé dans l’analyse du visage, mais de nombreuses caractéristiques liées à l’identité ou à l’expression ne peuvent être représentées de manière adéquate par des points de repère épars seulement. Ainsi, pour reconstruire les visages avec une plus grande précision, les points de repère sont fréquemment combinés à d’autres signaux, tels que des images de profondeur, ou à des techniques comme le rendu différentiable. Peut-on simplifier ce processus en utilisant simplement davantage de points de repère ? Pour répondre à cette question, nous proposons la première méthode capable de prédire avec précision dix fois plus de points de repère qu’habituellement, couvrant l’ensemble de la tête, y compris les yeux et les dents. Cette performance est rendue possible grâce à des données d’entraînement synthétiques, garantissant des annotations parfaites des points de repère. En ajustant un modèle morphable à ces points de repère denses, nous obtenons des résultats de pointe pour la reconstruction 3D monoculaire du visage dans des conditions réelles (in the wild). Nous démontrons que les points de repère denses constituent un signal idéal pour intégrer l’information de forme faciale à travers les trames, en montrant une capture de performance faciale précise et expressive, aussi bien dans des scénarios monoculaires qu’en vue multiple. Cette approche est également très efficace : nous pouvons prédire les points de repère denses et ajuster notre modèle 3D du visage à plus de 150 FPS sur un seul thread CPU. Pour en savoir plus, veuillez consulter notre site web : https://microsoft.github.io/DenseLandmarks/.