Knowledge-to-SQL: Verbesserung der SQL-Generierung durch datenexperte LLMs

Die Generierung genauer SQL-Abfragen für Nutzerfragen (Text-zu-SQL) stellt seit langem eine herausfordernde Aufgabe dar, da sie ein tiefes Verständnis sowohl der Nutzerfrage als auch des entsprechenden Datenbankschemas erfordert, um die gewünschten Daten präzise abzurufen. Bestehende Ansätze stützen sich auf die umfassenden Fähigkeiten großer Sprachmodelle (Large Language Models, LLMs), um SQL-Abfragen zu generieren. Allerdings enthält einige notwendige Wissensbasis weder explizit im Datenbankschema noch in der Nutzerfrage, sondern wurde von LLMs bereits erlernt. Daher können die generierten SQL-Abfragen bei wissensarmen Fragen ungenau sein, was sich negativ auf die Leistung und Robustheit von Text-zu-SQL-Modellen auswirkt. Um diese Herausforderung anzugehen, schlagen wir den Knowledge-to-SQL-Framework vor, der ein maßgeschneidertes Data Expert LLM (DELLM) einsetzt, um allen Text-zu-SQL-Modellen hilfreiches Wissen bereitzustellen. Konkret präsentieren wir die detaillierte Implementierung des DELLM im Hinblick auf die Tabellenlesung und den grundlegenden Feinabstimmungsprozess. Darüber hinaus entwickeln wir eine Preference Learning via Database Feedback (PLDBF)-Strategie, um das DELLM weiter zu verfeinern und so noch nützlicheres Wissen für LLMs zu generieren. Umfassende Experimente bestätigen, dass das DELLM die derzeit fortschrittlichsten Ansätze für Text-zu-SQL-Aufgaben verbessern kann. Der zugehörige Quellcode des DELLM wird für zukünftige Forschung veröffentlicht.