ZJUKLAB am SemEval-2021 Task 4: Negative Augmentation mit Sprachmodellen für das Verständnis abstrakter Bedeutung im Lesen

Diese Arbeit präsentiert unsere Systeme für die drei Unter-Aufgaben des SemEval-Aufgabenstellungs-4: Reading Comprehension of Abstract Meaning (ReCAM). Wir erläutern die Algorithmen, die zur Lernphase unserer Modelle eingesetzt wurden, sowie den Prozess der Algorithmus-Optimierung und der Auswahl des besten Modells. Inspiriert durch die Ähnlichkeit der ReCAM-Aufgabe mit der Sprachvortrainierung schlagen wir eine einfache, jedoch wirksame Technologie vor: die negative Augmentation mittels Sprachmodell. Die Bewertungsergebnisse belegen die Effektivität unseres Ansatzes. Unsere Modelle erreichen jeweils den 4. Platz auf den offiziellen Testsets von Unter-Aufgabe 1 und Unter-Aufgabe 2 mit einer Genauigkeit von 87,9 % beziehungsweise 92,8 %. Zudem führen wir eine umfassende Modellanalyse durch und beobachten interessante Fehlertypen, die zukünftige Forschungsarbeiten unterstützen könnten.