Alignement facial à l'aide d'un ensemble de arbres de régression profondément initialisés en 3D

Les algorithmes d'alignement facial localisent un ensemble de points caractéristiques dans des images de visages prises dans des situations non restreintes. Les approches les plus avancées échouent généralement ou perdent en précision en présence d'occlusions, de déformations importantes, de variations de pose importantes et de configurations ambiguës. Dans cet article, nous présentons 3DDE, un algorithme d'alignement facial robuste et efficace basé sur une cascade grossière à fine de forêts d'arbres de régression. Il est initialisé par l'ajustement robuste d'un modèle facial 3D aux cartes de probabilité produites par un réseau neuronal convolutif. Avec cette initialisation, nous abordons les auto-occlusions et les rotations faciales importantes. De plus, le régresseur impose implicitement une forme faciale a priori à la solution, traitant ainsi les occlusions et les configurations ambiguës du visage. Sa structure grossière à fine permet de gérer l'explosion combinatoire des déformations des parties. Dans les expériences réalisées, 3DDE améliore l'état de l'art sur les ensembles de données 300W, COFW, AFLW et WFLW. Enfin, nous menons des expériences inter-bases qui révèlent l'existence d'un biais significatif entre ces ensembles de données.