Suivi des Indices Complexes dans le Dialogue : Structure Graphique et Dynamiques de Sentiment pour la Reconnaissance Multimodale des Émotions

La reconnaissance émotionnelle multimodale dans la conversation (MERC) a récemment suscité une attention considérable de la part de la recherche. Les méthodes existantes en MERC font face à plusieurs défis : (1) elles ne parviennent pas à pleinement exploiter les indices inter-modaux directs, ce qui peut entraîner une modélisation croisée incomplète ; (2) elles extraient simultanément des informations des mêmes et de différentes modalités à chaque couche du réseau, ce qui peut provoquer des conflits lors de la fusion de données provenant de sources multiples ; (3) elles manquent d'agilité pour détecter les changements sentimentaux dynamiques, ce qui peut conduire à une classification inexacte des énoncés présentant des changements brusques d'émotion. Pour répondre à ces problèmes, une nouvelle approche nommée GraphSmile est proposée afin de suivre les subtilités émotionnelles complexes dans les dialogues multimodaux.GraphSmile se compose de deux composants clés, à savoir les modules GSF et SDP. Le module GSF utilise ingénieusement des structures graphiques pour assimiler alternativement les dépendances émotionnelles inter-modales et intra-modales couche par couche, capturant ainsi adéquatement les indices croisés tout en évitant efficacement les conflits de fusion. Le module SDP est une tâche auxiliaire visant à délimiter explicitement la dynamique sentimentale entre les énoncés, renforçant ainsi la capacité du modèle à distinguer les différences sentimentales. De plus, GraphSmile s'applique facilement à l'analyse sentimentale multimodale dans la conversation (MSAC), formant un modèle affectif multimodal unifié capable d'exécuter les tâches MERC et MSAC. Les résultats empiriques sur plusieurs bancs d'essai montrent que GraphSmile peut gérer des motifs émotionnels et sentimentaux complexes, surpassant significativement les modèles de base.