AWARE: aspectbasiertes Sentiment-Analyse-Datensatz für App-Bewertungen zur Anforderungserhebung

Der Markt für Smartphone-Apps wächst rasant, was die App-Betreiber herausfordert, ihre Produkte kontinuierlich zu verbessern und im Wettbewerb bestehen zu können. Die Analyse von Nutzerfeedback ist ein zentraler Treiber für Verbesserungen, da Stakeholder damit ein umfassendes Verständnis sowohl für die Stärken und Schwächen ihrer eigenen Produkte als auch der Konkurrenz gewinnen können. Dies ermöglicht die Ableitung evidenzbasierter Anforderungen und die Verbesserung der Anforderungserhebung. Aspect-Based Sentiment Analysis (ABSA) ist ein Teilbereich der Sentiment-Analyse, der Aspekte identifiziert und jedem Aspekt eine Stimmung zuordnet. Durch die Berücksichtigung von Aspekten erhält man eine präzisere Interpretation von Meinungen und überwindet die Beschränkungen der Gesamtstimmungsanalyse. Die ABSA-Aufgabe wurde bisher jedoch noch nicht im Kontext von Smartphone-App-Bewertungen und der Anforderungserhebung untersucht.In diesem Paper stellen wir AWARE als Benchmark-Datensatz vor, der aus 11.323 App-Bewertungen besteht, die mit Aspektbegriffen, Aspektkategorien und Sentiment-Kategorien annotiert wurden. Die Bewertungen stammen aus drei Domänen: Produktivität, soziale Netzwerke und Spiele. Für jede Domäne wurden die Aspektkategorien mittels Inhaltsanalyse abgeleitet und von Fachexperten hinsichtlich Relevanz, Vollständigkeit, Überlappung und Granularität validiert. Die Annotationen der Aspektkategorien und Sentiment-Polaritäten wurden über eine Crowdsourcing-Plattform durchgeführt und durch Qualitätskontrollverfahren gesichert. Die Aspektbegriffe wurden mit einem teilautomatisierten Natural Language Processing (NLP)-Ansatz annotiert und von menschlichen Annotatoren überprüft, was eine Korrektheit von 98 % erbrachte. Schließlich haben wir maschinelle Lernbaselines für drei Aufgaben entwickelt: (i) Extraktion von Aspektbegriffen mittels POS-Tagger, (ii) Klassifikation von Aspektkategorien und (iii) Klassifikation des Aspekt-Sentiments, jeweils mit Support Vector Machine (SVM) und Multi-layer Perceptron (MLP) Klassifikatoren.