Attention adaptative profonde pour la détection conjointe des unités d’action faciales et l’alignement du visage

La détection des unités d'action faciales (AU) et l'alignement facial sont deux tâches fortement corrélées, car les points de repère faciaux peuvent fournir des emplacements précis des AU pour faciliter l'extraction de caractéristiques locales significatives pour la détection des AU. La plupart des travaux existants sur la détection des AU traitent généralement l'alignement facial comme une étape préliminaire et gèrent ces deux tâches de manière indépendante. Dans cet article, nous proposons un nouveau cadre d'apprentissage profond en bout-à-bout pour la détection conjointe des AU et l'alignement facial, un domaine qui n'a pas encore été exploré. Plus particulièrement, des caractéristiques partagées à plusieurs échelles sont apprises en premier lieu, et les caractéristiques de haut niveau de l'alignement facial sont intégrées dans la détection des AU. De plus, afin d'extraire des caractéristiques locales précises, nous proposons un module d'apprentissage de l'attention adaptative pour affiner la carte d'attention de chaque AU de manière adaptative. Enfin, les caractéristiques locales assemblées sont intégrées aux caractéristiques d'alignement facial et aux caractéristiques globales pour la détection des AU. Les expériences menées sur les bancs d'essai BP4D et DISFA montrent que notre cadre dépasse considérablement les méthodes actuelles pour la détection des AU.