CHASE-SQL: Mehrwegschlussfolgerung und präferenzoptimierte Kandidatenauswahl bei Text-to-SQL

Bei der Bewältigung der Herausforderungen der Leistungsfähigkeit großer Sprachmodelle (LLMs) bei Text-to-SQL-Aufgaben stellen wir CHASE-SQL vor, einen neuen Rahmen, der innovative Strategien einsetzt. Diese nutzen die Rechenkapazitäten zur Laufzeit in einem Multi-Agenten-Modell, um die Generierung und Auswahl von Kandidaten zu verbessern. CHASE-SQL nutzt das intrinsische Wissen der LLMs, um vielfältige und hochwertige SQL-Kandidaten mit verschiedenen LLM-Generatoren zu erzeugen: (1) eine Teile-und-herrsche-Methode, die komplexe Abfragen in handhabbare Unterabfragen in einem einzigen LLM-Aufruf zerlegt; (2) eine Schritt-für-Schritt-Begründung basierend auf Abfrageausführungsplänen, die die Schritte widerspiegelt, die ein Datenbankmotor während der Ausführung durchläuft; und (3) eine einzigartige instanzbezogene Technik zur Generierung synthetischer Beispiele, die spezifische Few-Shot-Demonstrationen für Testfragen bereitstellt.Um den besten Kandidaten zu identifizieren, wird ein Selektionsagent eingesetzt, der die Kandidaten durch paarweise Vergleiche mit einem feinjustierten binären Kandidatenselektions-LLM rangiert. Dieser Selektionsansatz hat sich als robuster gegenüber Alternativen erwiesen. Der vorgeschlagene Generatoren-Selektor-Rahmen verbessert nicht nur die Qualität und Vielfalt der SQL-Abfragen, sondern übertrifft auch frühere Methoden. Insgesamt erreicht unser vorgeschlagenes CHASE-SQL den aktuellen Stand der Technik mit einer Ausführungspräzision von 73,0 % und 73,01 % im Testset und Entwicklungsset des bekannten BIRD Text-to-SQL-Datensatzbenchmarks. Dadurch ist CHASE-SQL zum Zeitpunkt der Abgabe des Papers die beste Einreichung auf dem Leaderboard.