Détection robuste des points de repère faciaux à l’aide de réseaux profonds adaptatifs aux occlusions

Dans cet article, nous proposons un cadre simple et efficace appelé Réseaux Profonds Adaptatifs à l’Occlusion (ODN) afin de résoudre le problème d’occlusion dans la détection des points de repère faciaux. Dans ce modèle, la probabilité d’occlusion de chaque position dans les caractéristiques de haut niveau est estimée par un module de distillation, qui peut être appris automatiquement tout au long du processus d’apprentissage de la relation entre l’apparence faciale et la forme faciale. Cette probabilité d’occlusion sert de poids adaptatif sur les caractéristiques de haut niveau, permettant de réduire l’impact de l’occlusion et d’obtenir une représentation de caractéristiques nette. Toutefois, cette représentation nette ne peut pas capturer l’ensemble de la face en raison de la perte de caractéristiques sémantiques. Pour obtenir une représentation de caractéristiques exhaustive et complète, il est essentiel d’utiliser un module d’apprentissage à faible rang afin de restaurer les caractéristiques manquantes. Étant donné que les caractéristiques géométriques faciales facilitent la récupération des caractéristiques perdues par le module à faible rang, nous proposons un module conscient de la géométrie pour exploiter les relations géométriques entre les différentes composantes faciales. Grâce à l’effet synergique des trois modules, le réseau proposé atteint des performances supérieures par rapport aux méthodes de pointe sur des jeux de données de benchmark exigeants.