PropagationNet : Propager des points vers une courbe pour apprendre des informations structurelles

La technique d’apprentissage profond a considérablement amélioré les performances des algorithmes d’alignement facial. Toutefois, en raison de la grande variabilité des conditions et du manque d’échantillons, le problème d’alignement dans des situations non contraintes — par exemple, des poses de tête importantes, des expressions exagérées ou une éclairage inégal — reste largement non résolu. Dans cet article, nous explorons les motivations et les fondements de nos deux propositions, à savoir le module de propagation et la perte Focal Wing, visant à aborder ce défi. Plus précisément, nous proposons un nouvel algorithme d’alignement facial intégrant des informations structurelles, basé sur la régression de cartes de chaleur, en propagant les cartes de chaleur des points d’intérêt vers des cartes de chaleur aux frontières, lesquelles fournissent des informations structurelles pour la génération ultérieure des cartes d’attention. Par ailleurs, nous introduisons une perte Focal Wing pour extraire et accentuer les échantillons difficiles dans des conditions réelles (in-the-wild). En outre, nous intégrons des méthodes provenant d’autres domaines, telles que CoordConv et CNN anti-aliasing, afin de contrer le problème de non-invariance aux décalages (shift-variance) inhérent aux réseaux de neurones convolutifs dans le contexte de l’alignement facial. Lors d’expérimentations étendues sur divers benchmarks — à savoir WFLW, 300W et COFW — notre méthode dépasse significativement les états de l’art. L’approche proposée atteint un taux d’erreur moyen de 4,05 % sur WFLW, 2,93 % sur l’ensemble complet de 300W, et 3,71 % sur COFW.