ExpNet : Expressions faciales 3D profondes sans points de repère

Nous décrivons une méthode basée sur l'apprentissage profond pour estimer les coefficients d'expressions faciales en 3D. Contrairement aux travaux précédents, notre processus ne repose pas sur des méthodes de détection de points clés du visage comme étape intermédiaire. Des méthodes récentes ont montré qu'un réseau neuronal convolutif (CNN) peut être formé pour régresser des représentations précises et discriminantes de modèles morphables 3D (3DMM), directement à partir des intensités d'image. En évitant la détection de points clés du visage, ces méthodes ont été capables d'estimer des formes pour des visages masqués apparaissant dans des conditions de visualisation inédites en milieu naturel. Nous nous appuyons sur ces méthodes en montrant que les expressions faciales peuvent également être estimées par une approche profonde et robuste, sans point clé. Notre CNN ExpNet est appliqué directement aux intensités d'une image faciale et régresse un vecteur 29D de coefficients d'expression 3D. Nous proposons une méthode unique pour collecter les données nécessaires à la formation de ce réseau, en exploitant la robustesse des réseaux profonds face au bruit des étiquettes d'entraînement. Nous offrons également un moyen novateur d'évaluer la précision des coefficients d'expression estimés : en mesurant leur capacité à capturer les émotions faciales sur les bancs d'essai de reconnaissance émotionnelle CK+ et EmotiW-17. Nous montrons que notre ExpNet produit des coefficients d'expression qui discriminent mieux entre les émotions faciales que ceux obtenus avec les techniques actuelles de détection de points clés du visage. De plus, cet avantage s'accroît lorsque la taille des images diminue, démontrant que notre ExpNet est plus robuste aux changements d'échelle que les méthodes de détection de points clés. Enfin, à un niveau de précision comparable, notre ExpNet est plusieurs ordres de grandeur plus rapide que ses alternatives.