Apprentissage de représentation et formation adversariale d'identité pour la compréhension du comportement facial

La détection des Unités d'Action Faciale (AU) a suscité une attention considérable car elle permet la décomposition des expressions faciales complexes en mouvements musculaires individuels. Dans cet article, nous réexaminons deux facteurs fondamentaux dans la détection des AU : les données diverses et à grande échelle, ainsi que la régularisation de l'identité du sujet. Inspirés par les récentes avancées dans les modèles de base, nous soulignons l'importance des données et présentons Face9M, un ensemble de données diversifié composé de 9 millions d'images faciales provenant de multiples sources publiques. L'entraînement préalable d'un autoencodeur masqué sur Face9M entraîne des performances élevées dans la détection des AU et les tâches d'expression faciale. Plus important encore, nous mettons en avant le fait que la formation adversariale d'identité (IAT) n'a pas été suffisamment explorée dans les tâches de détection des AU. Pour combler cette lacune, nous montrons d'abord que l'identité du sujet dans les ensembles de données AU crée un apprentissage par raccourci pour le modèle et conduit à des solutions sous-optimales pour les prédictions des AU. Ensuite, nous démontrons que la régularisation IAT forte est nécessaire pour apprendre des caractéristiques invariantes à l'identité. Enfin, nous clarifions l'espace de conception de l'IAT et montrons empiriquement que l'IAT évite l'apprentissage par raccourci basé sur l'identité et aboutit à une meilleure solution. Les méthodes proposées, l'Autoencodeur Masqué Faciale (FMAE) et l'IAT, sont simples, génériques et efficaces. Notamment, notre approche FMAE-IAT atteint de nouveaux scores F1 record sur les bases de données BP4D (67,1 %), BP4D+ (66,8 %) et DISFA (70,1 %), surpassant considérablement les travaux précédents. Nous mettons à disposition le code et le modèle sur https://github.com/forever208/FMAE-IAT.