Un réseau de représentation hiérarchique pour une reconstruction faciale précise et détaillée à partir d'images prises dans le monde réel

Limité par la capacité représentationnelle à faible dimension du 3DMM, la plupart des méthodes de reconstruction faciale (FR) basées sur le 3DMM échouent à restaurer les détails haute fréquence du visage, tels que les rides, les fossettes, etc. Certaines approches tentent de résoudre ce problème en introduisant des cartes de détails ou des opérations non linéaires, mais les résultats restent insuffisamment réalistes. À cet effet, nous proposons dans cet article un nouveau réseau hiérarchique de représentation (HRN) afin d’obtenir une reconstruction faciale précise et détaillée à partir d’une seule image. Plus précisément, nous mettons en œuvre une désentrelacement géométrique et introduisons une représentation hiérarchique pour permettre une modélisation fine du visage. Par ailleurs, nous intégrons des priori 3D relatifs aux détails faciaux afin d’améliorer à la fois la précision et la fidélité des résultats de reconstruction. Nous proposons également un module de dé-retouche pour atteindre une meilleure séparation entre la géométrie et l’apparence. Il est à noter que notre cadre peut être étendu à une approche multi-vues en imposant une cohérence des détails entre différentes vues. Des expériences étendues sur deux benchmarks de reconstruction faciale à vue unique et deux benchmarks à vue multiple montrent que notre méthode surpasser les approches existantes tant en termes de précision de reconstruction qu’en termes d’effets visuels. Enfin, nous introduisons un nouveau jeu de données 3D de haute qualité, nommé FaceHD-100, afin de stimuler la recherche en reconstruction faciale de haute fidélité. La page web du projet est disponible à l’adresse suivante : https://younglbw.github.io/HRN-homepage/.