CHASE-SQL : Raisonnement multi-chemin et sélection de candidats optimisée par préférence dans la transformation texte vers SQL

Dans le cadre de la résolution des défis liés aux performances des grands modèles linguistiques (LLM) pour les tâches de Texte vers SQL (Text-to-SQL), nous présentons CHASE-SQL, un nouveau cadre qui utilise des stratégies innovantes, en exploitant les calculs au moment du test dans la modélisation multi-agents pour améliorer la génération et la sélection des candidats. CHASE-SQL tire parti des connaissances intrinsèques des LLMs pour générer des candidats SQL variés et de haute qualité à l'aide de différents générateurs LLM, avec : (1) une méthode de division et de conquête qui décompose les requêtes complexes en sous-requêtes gérables lors d'un seul appel LLM ; (2) un raisonnement par chaîne de pensée basé sur les plans d'exécution des requêtes, reflétant les étapes prises par le moteur de base de données lors de l'exécution ; et (3) une technique unique de génération d'exemples synthétiques adaptés à l'instance, offrant des démonstrations spécifiques basées sur quelques exemples adaptés aux questions de test.Pour identifier le meilleur candidat, un agent de sélection est utilisé pour classer les candidats par comparaisons binaires grâce à un LLM finement ajusté pour la sélection binaire de candidats. Cette approche de sélection s'est avérée plus robuste que les alternatives. Le cadre proposé, combinant générateurs et sélecteur, non seulement améliore la qualité et la diversité des requêtes SQL, mais aussi surpasses les méthodes précédentes. Dans l'ensemble, notre CHASE-SQL proposé atteint une précision d'exécution d'état de l'art de 73,0 % et 73,01 % sur l'ensemble de test et l'ensemble de développement du benchmark BIRD Text-to-SQL, ce qui fait de CHASE-SQL la meilleure soumission du classement (au moment de la soumission du papier).