HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de fusion multimodal à multiples pertes pour l'analyse d'opinion

Zehui Wu Ziwei Gong Jaywon Koo Julia Hirschberg

Résumé

Cet article étudie le choix optimal et la fusion des encodeurs de caractéristiques à travers plusieurs modalités, en les combinant au sein d’un seul réseau neuronal afin d’améliorer la détection des sentiments. Nous comparons différentes méthodes de fusion et examinons l’impact de l’entraînement multi-perte au sein du réseau de fusion multimodale, mettant en évidence des résultats surprenants concernant les performances des sous-réseaux. Nous avons également constaté que l’intégration du contexte améliore significativement les performances du modèle. Notre meilleur modèle atteint des performances de pointe sur trois jeux de données (CMU-MOSI, CMU-MOSEI et CH-SIMS). Ces résultats suggèrent une voie claire vers une approche optimisée de sélection et de fusion de caractéristiques pour améliorer la détection des sentiments dans les réseaux neuronaux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau de fusion multimodal à multiples pertes pour l'analyse d'opinion | Articles | HyperAI