Vorschau auf XiYan-SQL: Ein Mehrfach-Generatoren-Ensemble-Framework für Text-to-SQL

Um die Herausforderungen der Leistung großer Sprachmodelle bei Aufgaben der natürlichen Sprache zu SQL zu bewältigen, stellen wir XiYan-SQL vor, ein innovatives Framework, das eine Strategie mit mehreren Generatoren zur Verbesserung der KandidatenGenerierung einsetzt. Wir führen M-Schema ein, eine halbstrukturierte Schemarepräsentationsmethode, die entwickelt wurde, um das Verständnis von Datenbankstrukturen zu verbessern. Um die Qualität und Vielfalt der generierten Kandidaten-SQL-Abfragen zu erhöhen, kombiniert XiYan-SQL das erhebliche Potenzial des kontextuellen Lernens (ICL) mit der präzisen Steuerung des überwachten Feinabstimmens. Einerseits schlagen wir eine Reihe von Trainingsstrategien vor, um Modelle so zu feinjustieren, dass sie hochwertige Kandidaten mit unterschiedlichen Präferenzen generieren. Andererseits implementieren wir den ICL-Ansatz mit einer auf Named Entity Recognition basierenden Beispielselektionsmethode, um eine Überbetonung von Entitäten zu vermeiden. Der Refiner optimiert jeden Kandidaten durch Korrektur logischer oder syntaktischer Fehler. Um die Herausforderung der Identifizierung des besten Kandidaten anzugehen, feinjustieren wir ein Auswahlmodell, um die Nuancen der Kandidaten-SQL-Abfragen zu erkennen. Die experimentellen Ergebnisse auf mehreren Dialekt-Datensätzen zeigen die Robustheit von XiYan-SQL bei der Bewältigung von Herausforderungen in verschiedenen Szenarien. Insgesamt erreicht unser vorgeschlagenes XiYan-SQL einen Stand-of-the-Art-Ausführungsaccuracy von 75,63 % auf dem Bird-Benchmark, 89,65 % auf dem Spider-Testset, 69,86 % auf SQL-Eval und 41,20 % auf NL2GQL. Das vorgeschlagene Framework verbessert nicht nur die Qualität und Vielfalt von SQL-Abfragen, sondern übertreffen auch frühere Methoden.