Verbesserung der Generalisierung bei der textbasierten SQL-Semantikparsung mit Sprachmodellen: Zwei einfache, auf semantischen Grenzen basierende Techniken

Kompositionale und domänengenerelle Generalisierung stellen erhebliche Herausforderungen im Bereich der semantischen Parsung dar, selbst für fortschrittlichste semantische Parser, die auf vortrainierten Sprachmodellen (LMs) basieren. In dieser Studie untersuchen wir empirisch, wie die Generalisierungsfähigkeit eines LMs in der semantischen Parsung mit zwei einfachen Techniken verbessert werden kann: Auf Token-Ebene führen wir eine Token-Präverarbeitungsmethode ein, die die semantischen Grenzen der durch LM-Tokenizer erzeugten Tokens bewahrt; auf Sequenzebene schlagen wir vor, spezielle Tokens zu verwenden, um die Grenzen von Komponenten zu markieren, die zwischen Eingabe und Ausgabe ausgerichtet sind. Unsere experimentellen Ergebnisse auf zwei Text-zu-SQL-Datensätzen zur semantischen Parsung zeigen, dass unsere Token-Präverarbeitung, obwohl einfach, die Leistung des LMs sowohl bei kompositionaler als auch bei domänengenereller Generalisierung erheblich verbessert, während unsere Methode zur Markierung von Komponentengrenzen besonders förderlich für die kompositionale Generalisierung ist.