PET-SQL: Eine promptverstärkte zweirundige Verfeinerung von Text-to-SQL mit Kreuzkonsistenz

Neuere Fortschritte im Bereich Text-to-SQL (Text2SQL) konzentrieren sich auf die Förderung des in-Context-Lernens bei großen Sprachmodellen (LLM), wodurch beachtliche Ergebnisse erzielt wurden. Dennoch stoßen diese Ansätze bei der Behandlung umfangreicher Datenbankschemata und komplexer Benutzerabsichten auf Herausforderungen. In diesem Artikel präsentieren wir einen zweistufigen Rahmen, um die Leistung aktueller auf LLM basierender Systeme zur Umwandlung natürlicher Sprache in SQL zu verbessern. Zunächst führen wir eine neuartige Prompt-Repräsentation ein, die als referenzverstärkte Repräsentation bezeichnet wird und sowohl Schemainformationen als auch zufällig ausgewählte Zellenwerte aus Tabellen enthält, um LLMs bei der Generierung von SQL-Abfragen zu unterstützen. Im ersten Schritt werden Frage-SQL-Paare als Few-Shot-Demonstrationen abgerufen, um das LLM zur Erzeugung einer vorläufigen SQL-Abfrage (PreSQL) anzuregen. Anschließend werden die im PreSQL genannten Entitäten analysiert, um eine Schema-Verknüpfung durchzuführen, die wesentliche Informationen signifikant komprimieren kann. Im zweiten Schritt nutzen wir das verknüpfte Schema, um die Schemainformationen im Prompt zu vereinfachen und das LLM anzuweisen, die endgültige SQL-Abfrage zu generieren. Abschließend schlagen wir als Nachverfeinerungsmodul die Verwendung von Cross-Konsistenz über verschiedene LLMs vor, anstatt der Selbstkonsistenz innerhalb eines einzelnen LLMs. Unsere Methode erreicht neue SOTA-Ergebnisse auf dem Spider-Benchmark mit einer Ausführungspräzision von 87,6 %.