HyperAIHyperAI

Command Palette

Search for a command to run...

Text-to-SQL durch große Sprachmodelle unterstützt: Eine Benchmark-Evaluation

Dawei Gao Haibin Wang Yaliang Li Xiuyu Sun Yichen Qian Bolin Ding Jingren Zhou

Zusammenfassung

Große Sprachmodelle (LLMs) sind zu einer neuen Paradigmenbildung für die Text-zu-SQL-Aufgabe geworden. Doch die fehlende systematische Benchmark hindert die Entwicklung effektiver, effizienter und kostengünstiger LLM-basierter Lösungen für Text-zu-SQL. Um diese Herausforderung anzugehen, führen wir in diesem Artikel zunächst eine systematische und umfassende Vergleichsstudie über bestehende Ansätze im Bereich Prompt Engineering durch, einschließlich Fragerepräsentation, Beispiel-Auswahl und Beispiel-Organisation. Auf Basis dieser experimentellen Ergebnisse analysieren wir detailliert die Vor- und Nachteile der jeweiligen Methoden. Aufbauend auf diesen Erkenntnissen stellen wir eine neue integrierte Lösung vor, die wir DAIL-SQL nennen, welche die Spider-Leaderboard mit einer Ausführungspräzision von 86,6 % erneuert und eine neue Benchmark setzt. Um das Potenzial offener LLMs zu erforschen, untersuchen wir deren Leistung in verschiedenen Szenarien und steigern sie zusätzlich durch überwachtes Feintuning. Unsere Untersuchungen unterstreichen das erhebliche Potenzial offener LLMs für die Text-zu-SQL-Aufgabe sowie die Vor- und Nachteile des überwachten Feintunings. Zudem betonen wir im Hinblick auf eine effiziente und kostengünstige LLM-basierte Text-zu-SQL-Lösung die Token-Effizienz im Prompt Engineering und vergleichen vorangegangene Studien hinsichtlich dieser Metrik. Wir hoffen, dass unsere Arbeit ein tieferes Verständnis für Text-zu-SQL mit LLMs fördert und weitere Forschungen sowie breitere Anwendungen anregt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp