HyperAIHyperAI

Command Palette

Search for a command to run...

DIN-SQL : Apprentissage in-context décomposé de text-to-SQL avec auto-correction

Mohammadreza Pourreza Davood Rafiei

Résumé

Il existe actuellement un écart important entre les performances des modèles ajustés par fine-tuning et celles des approches basées sur la mise en œuvre (prompting) avec les grands modèles linguistiques (LLM) sur la tâche exigeante de text-to-SQL, telle qu’évaluée sur des jeux de données comme Spider. Pour améliorer la capacité des LLM à raisonner, nous étudions l’efficacité de la décomposition de cette tâche en sous-tâches plus petites. Plus précisément, nous montrons qu’en décomposant le problème de génération en sous-problèmes et en alimentant les solutions de ces sous-problèmes dans les LLM, on peut obtenir une amélioration significative de leurs performances. Nos expériences menées avec trois LLM montrent que cette approche améliore de manière cohérente la performance simple en few-shot d’environ 10 %, portant ainsi l’exactitude des LLM vers les meilleurs résultats atteints à ce jour (SOTA) ou même les dépassant. Sur l’ensemble de test réservé de Spider, le meilleur résultat précédent (SOTA) en termes d’exactitude d’exécution était de 79,9, tandis que le nouveau SOTA, au moment de la rédaction de ce texte, atteint 85,3 grâce à notre méthode. Cette approche basée sur l’apprentissage dans le contexte (in-context learning) surpasser plusieurs modèles fortement ajustés par fine-tuning d’au moins 5 %. En outre, évaluée sur le benchmark BIRD, notre méthode atteint une exactitude d’exécution de 55,9 %, établissant un nouveau record (SOTA) sur son ensemble de test réservé.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp