Alignement facial robuste à l'occlusion utilisant une architecture hiérarchique invariante à la vue

Le problème d’occlusion dégrade fortement les performances de localisation en alignement facial. La plupart des solutions actuelles s’appuient sur l’annotation de nouvelles données d’occlusion, l’introduction d’estimations de frontières ou le développement de modèles plus profonds afin d’améliorer la robustesse des réseaux neuronaux. Toutefois, les performances des modèles restent insatisfaisantes en cas d’occlusion extrême (occlusion moyenne dépassant 50 %), en raison du manque d’informations contextuelles faciales essentielles. Nous soutenons qu’explorer les réseaux neuronaux pour modéliser les hiérarchies faciales constitue une approche plus prometteuse pour faire face à l’occlusion extrême. De manière surprenante, les études récentes ont accordé peu d’attention à la représentation des hiérarchies faciales à l’aide de réseaux neuronaux. Ce papier propose une nouvelle architecture de réseau, nommée GlomFace, conçue pour modéliser les hiérarchies faciales face à diverses occlusions, s’inspirant du principe d’invariance visuelle des structures faciales. Plus précisément, GlomFace est fonctionnellement divisé en deux modules : un module hiérarchique partie-tout et un module hiérarchique tout-partie. Le premier capture les dépendances hiérarchiques entre parties et tout du visage afin de supprimer efficacement les informations d’occlusion à plusieurs échelles, tandis que le second introduit un raisonnement structurel dans les réseaux neuronaux en établissant des relations hiérarchiques entre le tout et les parties du visage. En conséquence, GlomFace bénéficie d’une interprétation topologique claire, en raison de sa correspondance directe avec les hiérarchies structurelles du visage. Les résultats expérimentaux étendus montrent que GlomFace atteint des performances comparables aux méthodes de pointe existantes, notamment dans les cas d’occlusion extrême. Les modèles sont disponibles à l’adresse suivante : https://github.com/zhuccly/GlomFace-Face-Alignment.