img2pose : Alignement et détection faciale par estimation de la pose en 6 degrés de liberté

Nous proposons une estimation en temps réel de la pose faciale 3D avec six degrés de liberté (6DoF) sans détection faciale ni localisation des points d'intérêt. Nous constatons que l'estimation de la transformation rigide 6DoF d'un visage est un problème plus simple que la détection des points d'intérêt faciaux, souvent utilisée pour l'alignement facial 3D. De plus, le 6DoF offre plus d'informations que les étiquettes de boîtes englobantes du visage. Nous exploitons ces observations pour apporter plusieurs contributions : (a) Nous décrivons un modèle basé sur Faster R-CNN, facile à entraîner et efficace, qui régresse la pose 6DoF pour tous les visages présents dans la photo, sans détection faciale préalable. (b) Nous expliquons comment la pose est convertie et maintenue cohérente entre la photo d'entrée et les découpages arbitraires créés lors de l'entraînement et de l'évaluation de notre modèle. (c) Enfin, nous montrons comment les poses faciales peuvent remplacer les étiquettes de boîtes englobantes utilisées pour l'entraînement. Les tests sur AFLW2000-3D et BIWI montrent que notre méthode fonctionne en temps réel et surpasse les estimateurs de pose faciale les plus avancés actuellement disponibles (state of the art, SotA). Remarquablement, notre méthode dépasse également les modèles SotA de complexité comparable sur le benchmark de détection WIDER FACE, malgré le fait qu'elle n'a pas été optimisée sur des étiquettes de boîtes englobantes.