HyperAIHyperAI

Command Palette

Search for a command to run...

Exploiter les avancées récentes en apprentissage profond pour la reconnaissance émotionnelle audiovisuelle

Liam Schoneveld Alice Othmani Hazem Abdelkawy

Résumé

Les expressions émotionnelles sont les comportements par lesquels nous communiquons notre état émotionnel ou notre attitude à autrui. Elles s’expriment à travers la communication verbale et non verbale. Le comportement humain complexe peut être compris en analysant les caractéristiques physiques issues de plusieurs modalités, principalement faciales, vocales et gestuelles. Récemment, la reconnaissance émotionnelle multi-modale spontanée a fait l’objet d’une étude approfondie pour l’analyse du comportement humain. Dans cet article, nous proposons une nouvelle approche fondée sur l’apprentissage profond pour la reconnaissance émotionnelle audio-visuelle. Notre méthode exploite les avancées récentes en apprentissage profond, telles que la distillation de connaissances et les architectures profondes à haut rendement. Les représentations de caractéristiques profondes des modalités audio et visuelle sont fusionnées selon une stratégie de fusion au niveau du modèle. Un réseau de neurones récurrent est ensuite utilisé pour capturer les dynamiques temporelles. L’approche proposée dépasse significativement les méthodes de pointe dans la prédiction de la valence sur le jeu de données RECOLA. En outre, notre réseau de extraction de caractéristiques d’expression faciale obtient des résultats supérieurs aux méthodes de pointe sur les jeux de données AffectNet et Google Facial Expression Comparison.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Exploiter les avancées récentes en apprentissage profond pour la reconnaissance émotionnelle audiovisuelle | Articles | HyperAI