Versteht BERT die Stimmung? Nutzung von Vergleichen zwischen kontextuellen und nicht-kontextuellen Embeddings zur Verbesserung aspektbasierter Stimmungsmodelle

Bei der Durchführung einer Polarisitätsdetektion für verschiedene Wörter in einem Satz müssen wir die umgebenden Wörter betrachten, um die Stimmungslage zu verstehen. Massiv vortrainierte Sprachmodelle wie BERT können nicht nur die Wörter in einem Dokument, sondern auch den Kontext, der um diese Wörter herum besteht, kodieren. Dies wirft die Fragen auf: „Codiert ein vortrainiertes Sprachmodell automatisch auch sentimentbezogene Informationen für jedes einzelne Wort?“ und „Kann es genutzt werden, um die Polarisität gegenüber verschiedenen Aspekten abzuleiten?“ In dieser Arbeit versuchen wir, diese Fragen zu beantworten, indem wir zeigen, dass die Verwendung eines Vergleichs zwischen einem kontextuellen Embedding aus BERT und einem generischen Wortembedding zur Ableitung von Sentimentinformationen genutzt werden kann. Zudem zeigen wir, dass sich durch die Feinabstimmung einer Teilmenge der Gewichte eines Modells, das auf einem solchen Vergleich basiert, Ergebnisse auf State-of-the-Art-Niveau für die Polarisitätsdetektion in Aspekt-basierten Sentiment-Klassifikationsdatensätzen erzielen lassen.