YASO : Un Jeu de Données Ciblé pour l'Évaluation de l'Analyse de Sentiment dans les Critiques en Domaine Ouvert

L'évaluation actuelle des systèmes d'analyse de sentiments ciblés (TSA) dans un contexte multi-domaines est limitée à l'ensemble restreint de domaines de critiques disponibles dans les jeux de données existants. Une telle évaluation est limitée et peut ne pas refléter la véritable performance sur des sites comme Amazon ou Yelp, qui hébergent des avis divers provenant de nombreux domaines. Pour combler cette lacune, nous présentons YASO - un nouveau jeu de données d'évaluation TSA d'avis d'utilisateurs en domaine ouvert. YASO contient 2 215 phrases en anglais issues de dizaines de domaines de critiques, annotées avec des termes cibles et leurs sentiments. Notre analyse vérifie la fiabilité de ces annotations et explore les caractéristiques des données collectées. Les résultats de référence obtenus avec cinq systèmes TSA contemporains montrent qu'il existe encore beaucoup d'espace pour l'amélioration sur ce jeu de données nouveau et difficile. YASO est disponible à l'adresse https://github.com/IBM/yaso-tsa.