HyperAIHyperAI

Command Palette

Search for a command to run...

KaggleDBQA: Realistische Bewertung von Text-zu-SQL-Parsern

Chia-Hsuan Lee Oleksandr Polozov Matthew Richardson

Zusammenfassung

Das Ziel der Datenbank-Fragebeantwortung besteht darin, die natürliche Sprache-Abfrage realer relationaler Datenbanken in unterschiedlichen Anwendungsbereichen zu ermöglichen. In jüngster Zeit haben großskalige Datensätze wie Spider und WikiSQL neue Modellierungsansätze für die Text-zu-SQL-Parsetechnik gefördert und die Zero-shot-Verallgemeinerungsfähigkeit auf bisher unbekannte Datenbanken verbessert. In dieser Arbeit untersuchen wir die Herausforderungen, die diese Techniken weiterhin vor der praktischen Anwendung bewahren. Erstens präsentieren wir KaggleDBQA, einen neuen, überdomänen-orientierten Evaluationsdatensatz realer Web-Datenbanken, der domänenspezifische Datentypen, ursprüngliche Formatierungen und uneingeschränkte Fragen enthält. Zweitens überprüfen wir erneut die Auswahl der Evaluierungsaufgaben für Text-zu-SQL-Parser im Kontext realer Anwendungsszenarien. Schließlich ergänzen wir unsere In-Domain-Evaluierungsaufgabe durch Datenbankdokumentation, eine natürlich vorkommende Quelle impliziten Domänenwissens. Wir zeigen, dass KaggleDBQA eine Herausforderung für aktuelle State-of-the-Art-Zero-shot-Parser darstellt, doch eine realistischere Evaluierungsumgebung sowie kreative Nutzung der zugehörigen Datenbankdokumentation die Genauigkeit um über 13,2 % steigern – die Leistung wird damit mehr als verdoppelt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
KaggleDBQA: Realistische Bewertung von Text-zu-SQL-Parsern | Paper | HyperAI