À quel point sommes-nous proches de résoudre le problème d'alignement facial en 2D et 3D ? (et un ensemble de données de 230 000 points de repère faciaux en 3D)

Ce travail examine jusqu'à quel point un réseau neuronal très profond est proche d'atteindre une performance quasi saturée sur les ensembles de données existants pour l'alignement facial 2D et 3D. À cette fin, nous apportons les cinq contributions suivantes : (a) pour la première fois, nous construisons une ligne de base très solide en combinant une architecture de pointe pour la localisation des points d'intérêt avec un bloc résiduel de pointe, nous l'entraînons sur un ensemble de données de points d'intérêt faciaux 2D très grand mais étendu synthétiquement, puis nous l'évaluons sur tous les autres ensembles de données de points d'intérêt faciaux 2D. (b) Nous créons un réseau guidé par des points d'intérêt 2D qui convertit les annotations de points d'intérêt 2D en 3D et unifie tous les ensembles de données existants, conduisant à la création du LS3D-W, le plus grand et le plus difficile ensemble de données pour l'alignement facial 3D à ce jour (~230 000 images). (c) Ensuite, nous entraînons un réseau neuronal pour l'alignement facial 3D et l'évaluons sur le nouvel ensemble de données LS3D-W. (d) Nous examinons également l'effet de tous les facteurs « traditionnels » affectant la performance de l'alignement facial, tels que les grandes poses, l'initialisation et la résolution, et introduisons un facteur « nouveau », à savoir la taille du réseau. (e) Nous montrons que tant les réseaux pour l'alignement facial 2D que ceux pour l'alignement facial 3D atteignent une performance d'une précision remarquable qui est probablement proche de saturer les ensembles de données utilisés. Le code d'entraînement et de test ainsi que l'ensemble de données peuvent être téléchargés depuis https://www.adrianbulat.com/face-alignment/