Évaluation comparative du Text-to-SQL alimenté par les grands modèles linguistiques

Les modèles linguistiques à grande échelle (LLM) sont apparus comme un nouveau paradigme pour la tâche Text-to-SQL. Toutefois, l’absence d’un benchmark systématique freine le développement de solutions efficaces, performantes et économiques basées sur les LLM pour Text-to-SQL. Pour relever ce défi, nous menons dans cet article une comparaison systématique et approfondie des méthodes existantes d’ingénierie de prompts, incluant la représentation des questions, la sélection d’exemples et l’organisation des exemples. À partir de ces résultats expérimentaux, nous analysons en détail leurs avantages et inconvénients. À partir de ces observations, nous proposons une nouvelle solution intégrée, nommée DAIL-SQL, qui atteint une précision d’exécution de 86,6 % sur le leaderboard Spider, établissant ainsi un nouveau record. Pour explorer le potentiel des LLM open-source, nous les évaluons dans divers scénarios et améliorons leurs performances grâce à un fine-tuning supervisé. Nos investigations mettent en évidence le grand potentiel des LLM open-source pour la tâche Text-to-SQL, ainsi que les avantages et limites du fine-tuning supervisé. En outre, dans une optique de solutions Text-to-SQL basées sur les LLM à la fois efficaces et économiques, nous mettons l’accent sur l’efficacité en tokens dans l’ingénierie de prompts, et comparons les travaux antérieurs selon ce critère. Nous espérons que ce travail contribuera à une compréhension plus profonde de la tâche Text-to-SQL avec les LLM, et inspire de futures recherches ainsi que des applications étendues.