Text-to-SQL durch große Sprachmodelle unterstützt: Eine Benchmark-Evaluation

Große Sprachmodelle (LLMs) sind zu einer neuen Paradigmenbildung für die Text-zu-SQL-Aufgabe geworden. Doch die fehlende systematische Benchmark hindert die Entwicklung effektiver, effizienter und kostengünstiger LLM-basierter Lösungen für Text-zu-SQL. Um diese Herausforderung anzugehen, führen wir in diesem Artikel zunächst eine systematische und umfassende Vergleichsstudie über bestehende Ansätze im Bereich Prompt Engineering durch, einschließlich Fragerepräsentation, Beispiel-Auswahl und Beispiel-Organisation. Auf Basis dieser experimentellen Ergebnisse analysieren wir detailliert die Vor- und Nachteile der jeweiligen Methoden. Aufbauend auf diesen Erkenntnissen stellen wir eine neue integrierte Lösung vor, die wir DAIL-SQL nennen, welche die Spider-Leaderboard mit einer Ausführungspräzision von 86,6 % erneuert und eine neue Benchmark setzt. Um das Potenzial offener LLMs zu erforschen, untersuchen wir deren Leistung in verschiedenen Szenarien und steigern sie zusätzlich durch überwachtes Feintuning. Unsere Untersuchungen unterstreichen das erhebliche Potenzial offener LLMs für die Text-zu-SQL-Aufgabe sowie die Vor- und Nachteile des überwachten Feintunings. Zudem betonen wir im Hinblick auf eine effiziente und kostengünstige LLM-basierte Text-zu-SQL-Lösung die Token-Effizienz im Prompt Engineering und vergleichen vorangegangene Studien hinsichtlich dieser Metrik. Wir hoffen, dass unsere Arbeit ein tieferes Verständnis für Text-zu-SQL mit LLMs fördert und weitere Forschungen sowie breitere Anwendungen anregt.