UCAS-IIE-NLP bei SemEval-2023 Task 12: Verbesserung der Generalisierung von Multilingual BERT für Sentiment-Analysen mit geringen Ressourcen

Dieses Papier beschreibt unser System, das für die SemEval-2023 Aufgabe 12: Sentimentanalyse für afrikanische Sprachen entwickelt wurde. Die Herausforderung bei dieser Aufgabe besteht in der Knappheit an etikettierten Daten und linguistischen Ressourcen in unterversorgten Sprachräumen. Um diese Probleme zu lindern, schlagen wir ein verallgemeinertes mehrsprachiges System SACL-XLMR (Sentiment Analysis for African Languages – Cross-lingual Multilingual Representation) zur Sentimentanalyse in unterversorgten Sprachen vor. Insbesondere entwerfen wir ein lexikonbasiertes mehrsprachiges BERT, um die Sprachanpassung und das Lernen von sentimentbewussten Repräsentationen zu erleichtern. Darüber hinaus wenden wir eine überwachte adversarische kontrastive Lernmethode an, um strukturierte Repräsentationen mit verbreiteten Sentiments zu erlernen und die Generalisierungsfähigkeit des Modells zu verbessern. Unser System erzielte wettbewerbsfähige Ergebnisse und übertreffen die Baseline-Modelle in den multilingualen und zero-shot Sentimentklassifikationsunteraufgaben weitgehend. Besonders auffällig ist, dass das System im offiziellen Ranking den 1. Platz in der zero-shot Klassifikationsunteraufgabe erreichte. Ausführliche Experimente belegen die Effektivität unseres Systems.