RASAT : Intégration de structures relationnelles dans un modèle préentraîné Seq2Seq pour la tâche Text-to-SQL

Des structures relationnelles telles que le lien entre schémas et le codage de schémas ont été validées comme un composant clé pour la traduction qualitative du langage naturel en requêtes SQL. Toutefois, l’introduction de ces relations structurelles s’accompagne de coûts : elles entraînent souvent une architecture de modèle spécialisée, ce qui limite fortement l’utilisation de grands modèles pré-entraînés dans les tâches de text-to-SQL. Pour résoudre ce problème, nous proposons RASAT : une architecture Transformer seq2seq enrichie par une attention auto-attentive sensible aux relations, capable d’exploiter diverses structures relationnelles tout en tirant pleinement parti des paramètres pré-entraînés du modèle T5. Notre modèle peut intégrer presque toutes les catégories de relations existantes dans la littérature, et en outre, nous proposons d’introduire des relations de co-référence dans le cadre des scénarios multi-tours. Les résultats expérimentaux sur trois jeux de données largement utilisés pour la tâche text-to-SQL, couvrant à la fois les scénarios mono-tour et multi-tours, montrent que RASAT atteint des performances de pointe sur les trois benchmarks (75,5 % EX sur Spider, 52,6 % IEX sur SParC et 37,4 % IEX sur CoSQL).