BERT für gemeinsame Intentionseinteilung und Slot-Füllung

Die Absichtsklassifikation und die Slot-Füllung sind zwei wesentliche Aufgaben für das Verstehen natürlicher Sprache. Sie leiden oft an kleinteiligen menschlich beschrifteten Trainingsdaten, was zu einer schlechten Generalisierungsfähigkeit führt, insbesondere bei seltenen Wörtern. Kürzlich hat ein neues Sprachrepräsentationsmodell, BERT (Bidirectional Encoder Representations from Transformers), die Vortrainierung tiefgreifender bidirektionaler Repräsentationen auf großen unbeschrifteten Korpora erleichtert und nach einfacher Feinabstimmung für eine Vielzahl von Aufgaben der natürlichsprachlichen Verarbeitung erstklassige Modelle hervorgebracht. Dennoch wurde bisher wenig Anstrengungen unternommen, um BERT für das Verstehen natürlicher Sprache zu erforschen. In dieser Arbeit schlagen wir ein gemeinsames Modell zur Absichtsklassifikation und Slot-Füllung auf Basis von BERT vor. Die experimentellen Ergebnisse zeigen, dass unser vorgeschlagenes Modell erhebliche Verbesserungen in Bezug auf die Genauigkeit der Absichtsklassifikation, den F1-Wert der Slot-Füllung und die satzbezogene semantische Rahmengenauigkeit auf mehreren öffentlich zugänglichen Benchmark-Datensätzen erzielt, verglichen mit aufmerksamkeitsbasierten rekurrenten Neuronalen Netzen und slot-gesteuerten Modellen.