Command Palette
Search for a command to run...
Amélioration de la prédiction des attributs faciaux à l'aide de la segmentation sémantique
Amélioration de la prédiction des attributs faciaux à l'aide de la segmentation sémantique
Kalayeh Mahdi M. Gong Boqing Shah Mubarak
Résumé
Les attributs sont des caractéristiques aux significations sémantiques claires, dont l'application s'étend largement au-delà des frontières des catégories. Ils sont particulièrement importants pour décrire et reconnaître des concepts lorsque aucun exemple d'apprentissage explicite n'est fourni, par exemple dans le cadre de l’apprentissage zéro-shot (zero-shot learning). En outre, puisque les attributs sont descriptibles par l’humain, ils peuvent être utilisés pour faciliter l’interaction homme-machine. Dans cet article, nous proposons d’utiliser la segmentation sémantique afin d’améliorer la prédiction des attributs faciaux. L'idée centrale repose sur le fait que de nombreux attributs faciaux décrivent des propriétés locales. Autrement dit, la probabilité de présence d’un attribut dans une image faciale n’est pas uniformément répartie dans le domaine spatial. Nous concevons notre modèle de prédiction des attributs faciaux en collaboration avec un réseau profond de segmentation sémantique. Cette approche exploite les indices de localisation appris par la segmentation sémantique afin de guider l’attention du modèle de prédiction des attributs vers les régions où ces derniers apparaissent naturellement. Grâce à cette méthode, nous parvenons non seulement à reconnaître les attributs, mais aussi à les localiser, même en n’ayant accès qu’à des étiquettes au niveau de l’image (surveillance faible) pendant l’apprentissage. Nous évaluons notre méthode proposée sur les jeux de données CelebA et LFWA, et obtenons des résultats supérieurs à ceux des approches antérieures. En outre, nous montrons que, dans le problème inverse, la segmentation sémantique du visage s’améliore lorsque les attributs faciaux sont disponibles. Cela confirme la nécessité de modéliser conjointement ces deux tâches étroitement liées.