YASO: Ein gezielt erstelltes Sentiment-Analyse-Evaluierungsdatensatz für offene Domänen-Bewertungen

Die aktuelle Bewertung von TSA (Target Sentiment Analysis) in einem cross-domain-Szenario ist auf die kleine Anzahl an Bewertungsbereichen in existierenden Datensätzen beschränkt. Eine solche Bewertung ist begrenzt und spiegelt möglicherweise nicht die tatsächliche Leistung auf Plattformen wie Amazon oder Yelp wider, die vielfältige Bewertungen aus zahlreichen Bereichen hosten. Um diese Lücke zu schließen, stellen wir YASO vor – einen neuen TSA-Bewertungsdatensatz mit offenen Domänenbenutzerbewertungen. YASO enthält 2.215 englische Sätze aus Dutzenden von Bewertungsbereichen, die mit Zielbegriffen und deren Stimmungen annotiert sind. Unsere Analyse bestätigt die Zuverlässigkeit dieser Annotationen und untersucht die Eigenschaften der gesammelten Daten. Benchmarks mit fünf zeitgenössischen TSA-Systemen zeigen, dass es noch viel Verbesserungspotenzial auf diesem anspruchsvollen neuen Datensatz gibt. YASO ist unter https://github.com/IBM/yaso-tsa verfügbar.