Amélioration de la prédiction des attributs faciaux à l'aide de la segmentation sémantique

Les attributs sont des caractéristiques sémantiquement significatives dont l'applicabilité traverse largement les frontières des catégories. Ils sont particulièrement importants pour décrire et reconnaître des concepts où aucun exemple d'entraînement explicite n'est fourni, par exemple dans le cas de l'apprentissage à zéro tirage (\textit{zero-shot learning}). De plus, étant donné que les attributs peuvent être décrits par les humains, ils peuvent être utilisés pour une interaction efficace entre l'homme et l'ordinateur. Dans cet article, nous proposons d'utiliser la segmentation sémantique pour améliorer la prédiction des attributs faciaux. L'idée centrale réside dans le fait que de nombreux attributs faciaux décrivent des propriétés locales. Autrement dit, la probabilité qu'un attribut apparaisse dans une image faciale est loin d'être uniforme dans le domaine spatial. Nous construisons notre modèle de prédiction d'attributs faciaux conjointement avec un réseau de segmentation sémantique profond. Cela permet d'utiliser les indices de localisation appris par la segmentation sémantique pour guider l'attention de la prédiction d'attributs vers les régions où ces différents attributs apparaissent naturellement. Grâce à cette approche, en plus de la reconnaissance, nous sommes capables de localiser les attributs, malgré le fait que nous n'ayons accès qu'à des étiquettes au niveau de l'image (supervision faible) pendant l'entraînement. Nous évaluons notre méthode proposée sur les jeux de données CelebA et LFWA et obtenons des résultats supérieurs aux travaux antérieurs. De plus, nous montrons que dans le problème inverse, la segmentation sémantique du visage s'améliore lorsque les attributs faciaux sont disponibles. Cela confirme la nécessité de modéliser conjointement ces deux tâches interconnectées.