Apprentissage et raisonnement de représentation graphique sensible aux bords pour la segmentation faciale

Le parsing facial consiste à attribuer une étiquette par pixel à chaque composante faciale, une tâche qui suscite un intérêt croissant récemment. Les méthodes précédentes ont démontré leur efficacité dans cette tâche, mais elles négligent néanmoins les corrélations entre différentes régions du visage. Or, ces corrélations constituent une piste cruciale pour comprendre l'apparence faciale, la pose, l'expression, etc., et doivent être prises en compte pour un parsing facial précis. À cet effet, nous proposons de modéliser et de raisonner sur les relations entre régions en apprenant des représentations graphiques, et d’utiliser l’information sur les arêtes entre régions afin d’optimiser l’abstraction. Plus précisément, nous encodons une image faciale dans une représentation graphique globale, où un ensemble de pixels (« régions ») présentant des caractéristiques similaires sont projetés sur chaque sommet du graphe. Notre modèle apprend et raisonne sur les relations entre ces régions en propageant l’information à travers les sommets du graphe. En outre, nous intégrons l’information des arêtes pour agréger les caractéristiques par pixel sur les sommets, ce qui met l’accent sur les caractéristiques situées aux abords des bords, favorisant ainsi une segmentation fine le long de ces derniers. La représentation graphique finalement apprise est ensuite projetée de retour sur une grille de pixels pour effectuer le parsing. Des expériences montrent que notre modèle surpasser les méthodes de pointe sur le jeu de données Helen largement utilisé, tout en obtenant également de meilleures performances sur les jeux de données à grande échelle CelebAMask-HQ et LaPa. Le code est disponible à l’adresse suivante : https://github.com/tegusi/EAGRNet.