Reconstruction 3D monocablée auto-supervisée par consistance géométrique multi-vue consciente des occlusions

Les approches récentes fondées sur l’apprentissage, dans lesquelles les modèles sont entraînés à partir d’images à vue unique, ont montré des résultats prometteurs pour la reconstruction 3D faciale à partir d’une seule vue, mais elles souffrent du problème mal posé lié à l’ambiguïté de la pose faciale et de la profondeur. Contrairement aux travaux antérieurs qui n’imposent que des contraintes sur les caractéristiques en 2D, nous proposons une architecture d’entraînement auto-supervisée exploitant la cohérence géométrique multi-vue, offrant ainsi des contraintes fiables pour l’estimation de la pose et de la profondeur faciale. Nous introduisons tout d’abord une méthode de synthèse de vue consciente aux occlusions, permettant d’appliquer la cohérence géométrique multi-vue à l’apprentissage auto-supervisé. Ensuite, nous concevons trois nouvelles fonctions de perte pour assurer la cohérence multi-vue : la perte de cohérence par pixels, la perte de cohérence de profondeur et la perte épipolaire basée sur les points de repère faciaux. Notre méthode s’avère précise et robuste, en particulier en présence de grandes variations d’expressions, de poses et d’éclairages. Des expériences approfondies sur des benchmarks de recalage facial et de reconstruction 3D faciale démontrent son avantage par rapport aux méthodes de pointe. Le code et le modèle sont disponibles à l’adresse suivante : https://github.com/jiaxiangshang/MGCNet.