SCoRe: Vor-Training für Kontextdarstellung in dialogbasierten semantischen Parsen

Conversational Semantic Parsing (CSP) ist die Aufgabe, eine Folge natürlicher Sprachabfragen in eine formale Sprache (z. B. SQL, SPARQL) zu übersetzen, die gegen eine strukturierte Ontologie (z. B. Datenbanken, Wissensbasen) ausgeführt werden kann. Um diese Aufgabe zu bewältigen, muss ein CSP-System die Beziehung zwischen der unstrukturierten Sprachäußerung und der strukturierten Ontologie modellieren sowie die Mehrfachdialog-Dynamik berücksichtigen. Vortrainierte Sprachmodelle (LMs) sind der Stand der Technik für verschiedene Aufgaben im Bereich des natürlichen Sprachverstehens. Allerdings besitzen bestehende vortrainierte LMs, die auf der Sprachmodellierung basieren und frei formulierte Texte verwenden, eine begrenzte Fähigkeit, natürliche Sprachreferenzen auf kontextuelle strukturelle Daten angemessen darzustellen. In dieser Arbeit präsentieren wir SCORE, einen neuen Vortrainierungsansatz für CSP-Aufgaben, der darauf abzielt, Darstellungen zu induzieren, die die Ausrichtung zwischen dem Dialogverlauf und dem strukturellen Kontext erfassen. Wir zeigen die breite Anwendbarkeit von SCORE auf CSP-Aufgaben, indem wir SCORE mit starken Basissystemen auf vier unterschiedlichen Aufgaben (SPARC, COSQL, MWOZ und SQA) kombinieren. Wir belegen, dass SCORE die Leistung aller dieser Basissysteme signifikant verbessert und auf drei von ihnen die derzeit besten Ergebnisse erzielt. Die Implementierung und die Modell-Checkpoint-Dateien werden unter der anonymen URL bereitgestellt.