HyperAIHyperAI

Command Palette

Search for a command to run...

RASAT : Intégration de structures relationnelles dans un modèle préentraîné Seq2Seq pour la tâche Text-to-SQL

Jiexing Qi Jingyao Tang Ziwei He Xiangpeng Wan Yu Cheng Chenghu Zhou Xinbing Wang Quanshi Zhang Zhouhan Lin

Résumé

Des structures relationnelles telles que le lien entre schémas et le codage de schémas ont été validées comme un composant clé pour la traduction qualitative du langage naturel en requêtes SQL. Toutefois, l’introduction de ces relations structurelles s’accompagne de coûts : elles entraînent souvent une architecture de modèle spécialisée, ce qui limite fortement l’utilisation de grands modèles pré-entraînés dans les tâches de text-to-SQL. Pour résoudre ce problème, nous proposons RASAT : une architecture Transformer seq2seq enrichie par une attention auto-attentive sensible aux relations, capable d’exploiter diverses structures relationnelles tout en tirant pleinement parti des paramètres pré-entraînés du modèle T5. Notre modèle peut intégrer presque toutes les catégories de relations existantes dans la littérature, et en outre, nous proposons d’introduire des relations de co-référence dans le cadre des scénarios multi-tours. Les résultats expérimentaux sur trois jeux de données largement utilisés pour la tâche text-to-SQL, couvrant à la fois les scénarios mono-tour et multi-tours, montrent que RASAT atteint des performances de pointe sur les trois benchmarks (75,5 % EX sur Spider, 52,6 % IEX sur SParC et 37,4 % IEX sur CoSQL).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp