CAE: Mechanismus zur Verringerung der Klassenungleichgewichts bei der SLU-Slot-Füllungsaufgabe

Die Aufgabe des Spoken Language Understanding (SLU) ist eine vielseitig anwendbare Aufgabe im Bereich des Natural Language Processing (NLP). Mit dem Erfolg des vortrainierten BERT-Modells wurde die NLU durch die Aufgaben Intent Classification und Slot Filling erheblich verbessert. Allerdings wurde das Problem der Klassenungleichgewichte in der NLU bisher nicht ausreichend untersucht, während es in Semantic-Parsing-Datensätzen häufig auftritt. Daher konzentriert sich diese Arbeit auf die Minderung dieses Problems. Wir stellen eine auf BERT basierende Architektur namens JointBERT Classify Anonymous Entity (JointBERT-CAE) vor, die die Leistung des Systems auf drei Semantic-Parsing-Datensätzen – ATIS, Snips, ATIS Vietnamese – sowie auf einem etablierten Named Entity Recognition (NER)-Datensatz, CoNLL2003, signifikant verbessert. In der JointBERT-CAE-Architektur nutzen wir ein Multitask-Joint-Learning-Ansatz, um die herkömmliche Slot-Filling-Aufgabe in zwei Teilprobleme zu zerlegen: die Erkennung anonymisierter Entitäten mittels Sequenzmarkierung und die Klassifizierung bereits erkannter anonymisierter Entitäten. Die experimentellen Ergebnisse zeigen eine deutliche Verbesserung von JointBERT-CAE gegenüber BERT auf allen untersuchten Datensätzen sowie eine breite Anwendbarkeit auf andere NLP-Aufgaben, die die Technik der Sequenzmarkierung nutzen.