LDDMM-Face : Apprentissage métrique diffeomorphique à grandes déformations pour une alignement facial flexible et cohérent

Nous proposons de manière innovante un cadre souple et cohérent pour l’alignement facial, nommé LDDMM-Face, dont la contribution principale réside dans une couche de déformation qui intègre naturellement la géométrie faciale de manière difféomorphe. Contrairement aux approches classiques basées sur la prédiction des points de repère faciaux via des cartes de chaleur ou une régression de coordonnées, nous formulons cette tâche dans un cadre d’alignement difféomorphe, en prédisant les moments qui paramétrisent de manière unique la déformation entre la frontière initiale et la frontière réelle. Ensuite, nous effectuons simultanément une cartographie métrique difféomorphe à grandes déformations (LDDMM) sur les courbes et les points de repère afin de localiser précisément les points de repère faciaux. Grâce à l’intégration de LDDMM dans un réseau neuronal profond, LDDMM-Face permet une annotation cohérente des points de repère faciaux sans ambiguïté, s’adapte facilement à diverses stratégies d’annotation, et peut même prédire des annotations denses à partir de données rares. Notre méthode peut être facilement intégrée à divers réseaux d’alignement facial. Nous évaluons de manière exhaustive LDDMM-Face sur quatre jeux de données de référence : 300W, WFLW, HELEN et COFW-68. LDDMM-Face est compétitif ou supérieur aux méthodes de pointe dans les scénarios traditionnels (alignement intra-jeu de données et même schéma d’annotation), mais se distingue véritablement par ses performances remarquables dans des cas difficiles : apprentissage faiblement supervisé (passage de données partielles à complètes), visages partiellement masqués, ainsi que dans des situations où les jeux de données d’entraînement et de prédiction diffèrent. En outre, LDDMM-Face obtient des résultats prometteurs sur la tâche la plus exigeante : la prédiction de points de repère entre jeux de données utilisant des schémas d’annotation différents.