Lernen kontextueller Repräsentationen für die semantische Analyse mit generativer Verstärkung der Vortrainierung

Zuletzt hat sich ein erhebliches Interesse an der Lernung kontextueller Darstellungen für verschiedene NLP-Aufgaben entwickelt, indem große Textkorpora genutzt werden, um große neuronale Sprachmodelle mittels selbstüberwachter Lernziele – beispielsweise dem Masked Language Model (MLM) – zu trainieren. Aufgrund einer Pilotstudie beobachten wir jedoch drei Probleme bei der Anwendung bestehender allgemeiner Sprachmodelle auf Text-zu-SQL-Semantikparser: Sie erkennen Spaltenverweise in Äußerungen nicht, können Spaltenverweise nicht aus Zellenwerten ableiten und sind nicht in der Lage, komplexe SQL-Abfragen zu generieren. Um diese Probleme zu mindern, stellen wir einen vortrainierenden Modellrahmen namens Generation-Augmented Pre-training (GAP) vor, der gemeinsam die Darstellungen natürlicher Sprachäußerungen und Tabellenschemata lernt, indem Generativmodelle zur Erzeugung von Vortrainingsdaten herangezogen werden. Das GAP-Modell wird auf 2 Millionen Paaren aus Äußerung und Schema sowie 30.000 Tripeln aus Äußerung, Schema und SQL trainiert, wobei die Äußerungen von generativen Modellen erzeugt wurden. Experimentelle Ergebnisse zeigen, dass neuronale Semantikparser, die das GAP-Modell als Darstellungsencoder nutzen, neue SOTA-Ergebnisse sowohl auf den Benchmarks SPIDER als auch CRITERIA-TO-SQL erzielen.