Command Palette
Search for a command to run...
DIN-SQL : Apprentissage in-context décomposé de text-to-SQL avec auto-correction
DIN-SQL : Apprentissage in-context décomposé de text-to-SQL avec auto-correction
Mohammadreza Pourreza Davood Rafiei
Résumé
Il existe actuellement un écart important entre les performances des modèles ajustés par fine-tuning et celles des approches basées sur la mise en œuvre (prompting) avec les grands modèles linguistiques (LLM) sur la tâche exigeante de text-to-SQL, telle qu’évaluée sur des jeux de données comme Spider. Pour améliorer la capacité des LLM à raisonner, nous étudions l’efficacité de la décomposition de cette tâche en sous-tâches plus petites. Plus précisément, nous montrons qu’en décomposant le problème de génération en sous-problèmes et en alimentant les solutions de ces sous-problèmes dans les LLM, on peut obtenir une amélioration significative de leurs performances. Nos expériences menées avec trois LLM montrent que cette approche améliore de manière cohérente la performance simple en few-shot d’environ 10 %, portant ainsi l’exactitude des LLM vers les meilleurs résultats atteints à ce jour (SOTA) ou même les dépassant. Sur l’ensemble de test réservé de Spider, le meilleur résultat précédent (SOTA) en termes d’exactitude d’exécution était de 79,9, tandis que le nouveau SOTA, au moment de la rédaction de ce texte, atteint 85,3 grâce à notre méthode. Cette approche basée sur l’apprentissage dans le contexte (in-context learning) surpasser plusieurs modèles fortement ajustés par fine-tuning d’au moins 5 %. En outre, évaluée sur le benchmark BIRD, notre méthode atteint une exactitude d’exécution de 55,9 %, établissant un nouveau record (SOTA) sur son ensemble de test réservé.