HyperAIHyperAI

Command Palette

Search for a command to run...

Graphix-T5 : Intégration de transformateurs pré-entraînés avec des couches sensibles aux graphes pour l’analyse syntaxique texte-vers-SQL

Jinyang Li Binyuan Hui Reynold Cheng Bowen Qin Chenhao Ma Nan Huo Fei Huang Wenyu Du Luo Si Yongbin Li

Résumé

La tâche de transformation du texte en requête SQL (text-to-SQL), visant à convertir des questions formulées en langage naturel en requêtes SQL exécutables, a suscité un intérêt croissant ces dernières années, car elle permet aux utilisateurs finaux d’extraire efficacement des informations essentielles à partir de bases de données sans nécessiter de connaissances techniques. L’un des principaux défis dans ce domaine est la généralisation au domaine, c’est-à-dire la capacité à bien s’adapter à des bases de données inconnues. Récemment, le modèle pré-entraîné de type transformateur texte-à-texte, T5, bien qu’il ne soit pas spécifiquement conçu pour la tâche de text-to-SQL, a atteint des performances de pointe sur les benchmarks standards axés sur la généralisation au domaine. Dans ce travail, nous explorons des moyens d’améliorer davantage le modèle pré-entraîné T5 en lui ajoutant des composants spécialisés pour la transformation texte-en-SQL. Ces composants devraient introduire une biais inductif structurel dans les parseurs text-to-SQL, renforçant ainsi leur capacité à effectuer des raisonnements complexes (potentiellement à plusieurs étapes), ce qui est crucial pour générer des requêtes SQL riches en structure. À cette fin, nous proposons une nouvelle architecture, GRAPHIX-T5, un modèle hybride basé sur le transformateur pré-entraîné standard, enrichi par des couches spécialement conçues pour être sensibles aux graphes. Des expériences étendues et une analyse approfondie démontrent l’efficacité de GRAPHIX-T5 sur quatre benchmarks de text-to-SQL : SPIDER, SYN, REALISTIC et DK. GRAPHIX-T5 surpasser tous les autres parseurs basés sur T5 avec une marge significative, atteignant ainsi de nouvelles performances de pointe. Notamment, GRAPHIX-T5-large atteint une précision exacte (EM) supérieure de 5,7 % et une précision d’exécution (EX) supérieure de 6,6 % par rapport au modèle T5-large original. Ce résultat dépasse même celui du modèle T5-3B de 1,2 % en EM et de 1,5 % en EX.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp