Inhaltsverstärkte BERT-basierte Text-zu-SQL-Generierung

Wir stellen eine einfache Methode vor, die die Tabelleninhalte zur Verbesserung eines BERT-basierten Modells für das Text-zu-SQL-Problem nutzt. Ausgehend von der Beobachtung, dass Teile der Tabelleninhalte mit bestimmten Wörtern im Fragetext übereinstimmen und einige Tabellenüberschriften ebenfalls mit Wörtern im Fragetext übereinstimmen, codieren wir zwei zusätzliche Merkmalsvektoren für das tiefe Modell. Unsere Methode bietet zudem Vorteile für die Modellinferenz zur Testzeit, da die Tabellen in Trainings- und Testphase nahezu identisch sind. Wir testen unser Modell auf dem WikiSQL-Datensatz und erreichen eine Verbesserung gegenüber der BERT-basierten Baseline um 3,7 % in der Logikform und um 3,7 % in der Ausführungspräzision und erzielen damit einen Stand der Technik.