Praktische Textklassifizierung mit großen vorab trainierten Sprachmodellen

Die Klassifikation von Mehrfach-Emotionen ist ein Problem der natürlichen Sprachverarbeitung (NLP), das wertvolle Anwendungsfälle für reale Daten bietet. Wir zeigen, dass die Kombination von groß angelegtem, überwachungslosem Sprachmodelltraining mit Feinabstimmung (Fine-Tuning) eine praktische Lösung für diese Aufgabe auf schwierigen Datensätzen darstellt, einschließlich solchen mit ungleichmäßig verteilten Klassenlabels und domänenspezifischem Kontext. Durch das Training eines aufmerksamkeitsbasierten Transformer-Netzes (Vaswani et al. 2017) anhand von 40 GB Text (Amazon-Rezensionen) (McAuley et al. 2015) und die anschließende Feinabstimmung am Trainingsdatensatz erreicht unser Modell einen F1-Score von 0,69 bei der mehrdimensionalen Emotionsklassifikation des SemEval Task 1:E-c (Mohammad et al. 2018), basierend auf dem Plutchik'schen Rad der Emotionen (Plutchik 1979). Diese Ergebnisse sind vergleichbar mit den besten aktuellen Modellen, insbesondere in schwierigen (emotionellen) Kategorien wie Angst (0,73), Ekel (0,77) und Wut (0,78), sowie in seltenen Kategorien wie Erwartung (Anticipation) (0,42) und Überraschung (Surprise) (0,37). Darüber hinaus demonstrieren wir unsere Anwendung an einem Textklassifikationsauftrag aus der Praxis. Wir erstellen einen eng gefilterten Textdatensatz aus echten Tweets zu verschiedenen Themen und zeigen, dass unser feinabgestimmtes Modell in dieser Aufgabe allgemeine kommerzielle APIs zur Stimmungs- und mehrdimensionalen Emotionsklassifikation um einen erheblichen Vorsprung übertrifft. Zudem führen wir eine Reihe zusätzlicher Studien durch, in denen wir Eigenschaften tiefer Lernarchitekturen, Datensätze und Algorithmen untersuchen, um praktische mehrdimensionale Stimmungsanalyse zu erreichen. Insgesamt stellen wir fest, dass überwachungsloses Sprachmodelltraining und Feinabstimmung ein einfaches Framework dar, um hohe Qualitätsergebnisse bei der Stimmungsanalyse realer Daten zu erzielen.