Régression de cartographie thermique sous-pixel pour la localisation des points de repère faciaux

Les modèles d’apprentissage profond basés sur la régression de cartes de chaleur ont révolutionné la tâche de localisation des points de repère faciaux, les modèles existants étant désormais robustes face à de grands angles de vue, à une éclairage non uniforme, à des ombres, à des occlusions et auto-occlusions, ainsi qu’à une faible résolution et au flou. Toutefois, malgré leur adoption massive, les approches fondées sur la régression de cartes de chaleur souffrent d’erreurs dues à la discrétisation, présentes à la fois dans le processus d’encodage et de décodage des cartes. Dans ce travail, nous montrons que ces erreurs ont un impact négatif surprenant sur la précision de l’alignement facial. Pour atténuer ce problème, nous proposons une nouvelle méthode pour l’encodage et le décodage des cartes de chaleur, en exploitant la distribution continue sous-jacente. Afin d’exploiter pleinement le mécanisme d’encodage-décodage nouvellement proposé, nous introduisons également une méthode d’apprentissage par siamois, qui impose une cohérence des cartes de chaleur face à diverses transformations géométriques d’image. Notre approche permet d’obtenir des gains significatifs sur plusieurs jeux de données, établissant ainsi un nouveau record d’état de l’art en localisation des points de repère faciaux. Le code ainsi que les modèles pré-entraînés seront mis à disposition à l’adresse suivante : https://www.adrianbulat.com/face-alignment