Une approche basée sur l'AutoML pour l'analyse multimodale du sentiment d'images

L’analyse d’opinion est un domaine de recherche axé sur l’analyse de données afin d’extraire des informations liées au sentiment qu’elles suscitent. Les applications de l’analyse d’opinion sont nombreuses, allant des systèmes de recommandation au marketing en passant par la satisfaction client. Les approches récentes évaluent le contenu textuel à l’aide de techniques d’apprentissage automatique (Machine Learning) entraînées sur de grandes corpora. Toutefois, avec l’essor des réseaux sociaux, d’autres types de données sont apparus en grande quantité, notamment les images. L’analyse d’opinion dans les images s’est révélée être un complément précieux des données textuelles, car elle permet d’inférer la polarité du message sous-jacent en établissant un contexte et des liens. Les approches d’analyse d’opinion multimodale visent à exploiter conjointement les informations contenues dans les textes et les images pour effectuer une évaluation. Malgré les progrès récents, les solutions actuelles peinent encore à combiner efficacement les informations issues des images et du texte afin de classifier les données issues des réseaux sociaux, principalement en raison de la subjectivité, de l’homogénéité interclasse et des différences de fusion des données. Dans cet article, nous proposons une méthode qui combine l’analyse d’opinion individuelle du texte et de l’image dans une classification finale fusionnée, basée sur l’AutoML, qui effectue une recherche aléatoire pour identifier le meilleur modèle. Notre méthode atteint des performances de pointe sur le jeu de données B-T4SA, avec une précision de 95,19 %.