Apprentissage d'un graphe de relations AU basé sur des caractéristiques multidimensionnelles d'arêtes pour la reconnaissance des unités d'action faciales

Les activations des Unités d'Action Faciale (AUs) s'influencent mutuellement. Bien que la relation entre un couple d'AUs puisse être complexe et unique, les approches existantes échouent à représenter spécifiquement et explicitement de tels indices pour chaque couple d'AUs dans chaque expression faciale. Cet article propose une approche de modélisation des relations entre AUs qui apprend en profondeur un graphe unique pour décrire explicitement la relation entre chaque couple d'AUs de l'expression faciale cible. Notre méthode encode d'abord l'état d'activation de chaque AU et son association avec les autres AUs dans une caractéristique de nœud. Ensuite, elle apprend une paire de caractéristiques d'arête multidimensionnelles pour décrire plusieurs indices de relation spécifiques à la tâche entre chaque couple d'AUs. Au cours de l'apprentissage des caractéristiques de nœuds et d'arêtes, notre approche prend également en compte l'influence de l'expression faciale unique sur les relations entre AUs en utilisant la représentation complète du visage comme entrée. Les résultats expérimentaux sur les jeux de données BP4D et DISFA montrent que les modules d'apprentissage des caractéristiques de nœuds et d'arêtes apportent des améliorations considérables des performances aux architectures CNN et basées sur les transformateurs, nos meilleurs systèmes atteignant des résultats reconnus comme étant à l'état de l'art en matière de reconnaissance des AUs. Notre approche non seulement possède une forte capacité à modéliser les indices de relation pour la reconnaissance des AUs, mais peut également être facilement intégrée à diverses architectures. Notre code PyTorch est mis à disposition.