KEPLER : Estimation des points clés et de la pose pour des visages non contraints par apprentissage de régresseurs H-CNN efficaces

La détection de points clés est l'une des étapes préliminaires les plus importantes dans des tâches telles que la modélisation faciale, la reconnaissance et la vérification. Dans cet article, nous présentons une méthode itérative pour l'estimation des points clés et la prédiction de la posture des visages non contraints en utilisant des régresseurs H-CNN efficaces (KEPLER) afin de résoudre le problème d'alignement facial. Les méthodes récentes de pointe ont montré des améliorations dans la détection des points clés faciaux grâce à l'utilisation de réseaux neuronaux convolutifs (CNN). Bien qu'un réseau neuronal simple en avant-propagation puisse apprendre la correspondance entre les espaces d'entrée et de sortie, il ne peut pas apprendre les dépendances structurelles inhérentes. Nous proposons une nouvelle architecture appelée H-CNN (Heatmap-CNN) qui capture les caractéristiques globales et locales structurées, favorisant ainsi une détection précise des points clés. L'H-CNN est conjointement entraîné sur la visibilité, les fiduciaux et la posture 3D du visage. Au fur et à mesure que les itérations progressent, l'erreur diminue, rendant les gradients plus petits et nécessitant un entraînement efficace des DCNNs pour atténuer cela. KEPLER effectue des corrections globales de la posture et des fiduciaux lors des quatre premières itérations, suivies par des corrections locales à l'étape ultérieure. En tant que sous-produit, KEPLER fournit également avec précision la posture 3D (inclinaison, tangage et roulis) du visage. Dans cet article, nous montrons que sans utiliser aucune information 3D, KEPLER surpasse les méthodes actuelles pour l'alignement sur des jeux de données difficiles tels que AFW et AFLW.