Graphix-T5 : Intégration de transformateurs pré-entraînés avec des couches sensibles aux graphes pour l’analyse syntaxique texte-vers-SQL

La tâche de transformation du texte en requête SQL (text-to-SQL), visant à convertir des questions formulées en langage naturel en requêtes SQL exécutables, a suscité un intérêt croissant ces dernières années, car elle permet aux utilisateurs finaux d’extraire efficacement des informations essentielles à partir de bases de données sans nécessiter de connaissances techniques. L’un des principaux défis dans ce domaine est la généralisation au domaine, c’est-à-dire la capacité à bien s’adapter à des bases de données inconnues. Récemment, le modèle pré-entraîné de type transformateur texte-à-texte, T5, bien qu’il ne soit pas spécifiquement conçu pour la tâche de text-to-SQL, a atteint des performances de pointe sur les benchmarks standards axés sur la généralisation au domaine. Dans ce travail, nous explorons des moyens d’améliorer davantage le modèle pré-entraîné T5 en lui ajoutant des composants spécialisés pour la transformation texte-en-SQL. Ces composants devraient introduire une biais inductif structurel dans les parseurs text-to-SQL, renforçant ainsi leur capacité à effectuer des raisonnements complexes (potentiellement à plusieurs étapes), ce qui est crucial pour générer des requêtes SQL riches en structure. À cette fin, nous proposons une nouvelle architecture, GRAPHIX-T5, un modèle hybride basé sur le transformateur pré-entraîné standard, enrichi par des couches spécialement conçues pour être sensibles aux graphes. Des expériences étendues et une analyse approfondie démontrent l’efficacité de GRAPHIX-T5 sur quatre benchmarks de text-to-SQL : SPIDER, SYN, REALISTIC et DK. GRAPHIX-T5 surpasser tous les autres parseurs basés sur T5 avec une marge significative, atteignant ainsi de nouvelles performances de pointe. Notamment, GRAPHIX-T5-large atteint une précision exacte (EM) supérieure de 5,7 % et une précision d’exécution (EX) supérieure de 6,6 % par rapport au modèle T5-large original. Ce résultat dépasse même celui du modèle T5-3B de 1,2 % en EM et de 1,5 % en EX.