Estimation hétérogène des attributs faciaux : une approche d'apprentissage multi-tâches profond

L'estimation des attributs faciaux présente de nombreuses applications potentielles dans la vidéosurveillance, la recherche de visages et les médias sociaux. Bien que plusieurs méthodes aient été proposées pour l'estimation des attributs faciaux, la plupart d'entre elles n'ont pas explicitement pris en compte la corrélation et l'hétérogénéité des attributs (par exemple, ordinaux versus nominaux et globaux versus locaux) lors de l'apprentissage de représentations de caractéristiques. Dans cet article, nous présentons une approche d'apprentissage multi-tâches profond (DMTL) pour estimer conjointement plusieurs attributs hétérogènes à partir d'une seule image faciale. Dans le cadre du DMTL, nous abordons la corrélation et l'hétérogénéité des attributs à l'aide de réseaux neuronaux convolutifs (CNNs) composés d'un apprentissage de caractéristiques partagées pour tous les attributs, et d'un apprentissage de caractéristiques spécifiques aux catégories pour les attributs hétérogènes. Nous introduisons également une base de données faciales non contrainte (LFW+), une extension du LFW du domaine public, dotée d'attributs démographiques hétérogènes (âge, sexe et race) obtenus par crowdsourcing. Les résultats expérimentaux sur des bancs d'essai comportant plusieurs attributs faciaux (MORPH II, LFW+, CelebA, LFWA et FotW) montrent que l'approche proposée offre des performances supérieures à celles de l'état de l'art. Enfin, les évaluations sur une base de données faciales du domaine public (LAP) avec un seul attribut démontrent que l'approche proposée possède une excellente capacité de généralisation.