Régression conjointe des voxels et des coordonnées pour une localisation précise des marqueurs faciaux 3D

La forme faciale en 3D est plus expressive et cohérente selon les points de vue que sa contrepartie en 2D. Cependant, la localisation des points d'intérêt faciaux en 3D à partir d'une seule image est un défi en raison de la nature ambiguë des points d'intérêt sous une perspective 3D. Les approches existantes adoptent généralement une stratégie suboptimale en deux étapes, consistant à effectuer d'abord une localisation des points d'intérêt en 2D suivie d'une estimation de profondeur. Dans cet article, nous proposons la méthode de Régression Jointe Voxel et Coordonnée (JVCR) pour la localisation des points d'intérêt faciaux en 3D, abordant ce problème de manière plus efficace dans une architecture bout-en-bout.Tout d'abord, nous proposons une représentation volumétrique compacte pour coder la probabilité voxel par voxel qu'une position soit un point d'intérêt 3D. La dimensionnalité de cette représentation est fixe, indépendamment du nombre de points d'intérêt cibles, permettant ainsi d'éviter le fléau de la dimensionnalité. Ensuite, un réseau neuronal en forme de sablier empilé est utilisé pour estimer cette représentation volumétrique de manière grossière à fine, suivi par un réseau neuronal de convolution 3D qui prend le volume estimé comme entrée et régresse les coordonnées 3D de la forme faciale. De cette façon, les contraintes structurelles 3D entre les points d'intérêt peuvent être apprises par le réseau neuronal de manière plus efficace.De plus, le pipeline proposé permet une formation bout-en-bout et améliore la robustesse et la précision de la localisation des points d'intérêt faciaux en 3D. L'efficacité de notre approche est validée sur les jeux de données 3DFAW et AFLW2000-3D. Les résultats expérimentaux montrent que la méthode proposée atteint des performances à l'état de l'art comparativement aux méthodes existantes.