HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Generalisierung bei der textbasierten SQL-Semantikparsung mit Sprachmodellen: Zwei einfache, auf semantischen Grenzen basierende Techniken

Daking Rai Bailin Wang Yilun Zhou Ziyu Yao

Zusammenfassung

Kompositionale und domänengenerelle Generalisierung stellen erhebliche Herausforderungen im Bereich der semantischen Parsung dar, selbst für fortschrittlichste semantische Parser, die auf vortrainierten Sprachmodellen (LMs) basieren. In dieser Studie untersuchen wir empirisch, wie die Generalisierungsfähigkeit eines LMs in der semantischen Parsung mit zwei einfachen Techniken verbessert werden kann: Auf Token-Ebene führen wir eine Token-Präverarbeitungsmethode ein, die die semantischen Grenzen der durch LM-Tokenizer erzeugten Tokens bewahrt; auf Sequenzebene schlagen wir vor, spezielle Tokens zu verwenden, um die Grenzen von Komponenten zu markieren, die zwischen Eingabe und Ausgabe ausgerichtet sind. Unsere experimentellen Ergebnisse auf zwei Text-zu-SQL-Datensätzen zur semantischen Parsung zeigen, dass unsere Token-Präverarbeitung, obwohl einfach, die Leistung des LMs sowohl bei kompositionaler als auch bei domänengenereller Generalisierung erheblich verbessert, während unsere Methode zur Markierung von Komponentengrenzen besonders förderlich für die kompositionale Generalisierung ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp