Anpassen oder zurückbleiben: Domänenanpassung durch Feinabstimmung des BERT-Sprachmodells für die Klassifikation von Aspekt-Ziel-Gefühlen

Die Aspekt-Ziel-Sentiment-Klassifikation (ATSC) ist eine Unterabteilung der aspektbasierten Sentimentanalyse (ABSA), die zahlreiche Anwendungen hat, zum Beispiel im E-Commerce, wo Daten und Erkenntnisse aus Bewertungen genutzt werden können, um Wert für Unternehmen und Kunden zu schaffen. Kürzlich wurden tiefgreifende Transfer-Lernmethoden erfolgreich auf eine Vielzahl von Aufgaben der natürlichsprachlichen Verarbeitung (NLP) angewendet, darunter auch ATSC. Basierend auf dem bekannten BERT-Sprachmodell gehen wir einen zweistufigen Ansatz zur Bearbeitung von ATSC: Zunächst führen wir ein selbstüberwachtes, domänenspezifisches Feinjustierung des BERT-Sprachmodells durch, gefolgt von einer überwachten, aufgabenspezifischen Feinjustierung. Unsere Ergebnisse darüber, wie man am besten die domänenspezifische Feinjustierung des Sprachmodells nutzen kann, ermöglichen es uns, neue Standarteinstellungen in der Leistung auf dem SemEval 2014 Task 4 Restaurants-Datensatz zu erzielen. Darüber hinaus testen wir die Realwelt-Robustheit unserer Modelle durch eine domänenübergreifende Evaluierung. Wir zeigen, dass ein domänenübergreifend angepasstes BERT-Sprachmodell signifikant besser abschneidet als starke Baseline-Modelle wie das unveränderte BERT-Base und XLNet-Base. Schließlich führen wir eine Fallstudie durch, um die Vorhersagefehler der Modelle zu interpretieren.