HyperAIHyperAI

Command Palette

Search for a command to run...

ExpNet : Expression faciale 3D profonde, sans repères anatomiques

Résumé

Nous décrivons une méthode fondée sur l’apprentissage profond pour estimer les coefficients d’expression faciale 3D. Contrairement aux travaux antérieurs, notre approche ne repose pas sur des méthodes de détection de points de repère faciaux comme étape intermédiaire. Des méthodes récentes ont montré qu’un réseau de neurones convolutifs (CNN) peut être entraîné pour prédire des représentations précises et discriminantes du modèle morphable 3D (3DMM), directement à partir des intensités d’image. En éliminant la détection des points de repère, ces approches ont permis d’estimer des formes de visages partiellement masqués dans des conditions d’acquisition inédites, typiques des environnements réels (in-the-wild). Nous nous appuyons sur ces travaux en démontrant qu’il est également possible d’estimer les expressions faciales par une méthode robuste, profonde et dépourvue de points de repère. Notre réseau ExpNet, basé sur une CNN, est appliqué directement aux intensités d’une image faciale afin de prédire un vecteur 29D de coefficients d’expression 3D. Nous proposons une méthode originale pour collecter les données nécessaires à l’entraînement de ce réseau, exploitant la robustesse des réseaux profonds face au bruit dans les étiquettes d’apprentissage. Nous introduisons également une nouvelle méthode d’évaluation de la précision des coefficients d’expression estimés : en mesurant leur capacité à capturer les émotions faciales sur les benchmarks de reconnaissance d’émotions CK+ et EmotiW-17. Nous montrons que les coefficients d’expression produits par notre ExpNet permettent une meilleure discrimination entre les émotions faciales que ceux obtenus par les techniques d’état de l’art basées sur la détection de points de repère. De plus, cet avantage s’accroît lorsque la taille de l’image diminue, ce qui démontre que notre ExpNet est plus robuste aux variations d’échelle que les méthodes basées sur la détection de points de repère. Enfin, à un niveau d’exactitude comparable, notre ExpNet est plusieurs ordres de grandeur plus rapide que ses alternatives.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp