Évaluation et Amélioration des MLL pour la Transformation Multi-tour de Texte en SQL avec plusieurs Types de Questions

Les récentes avancées dans les grands modèles de langage (LLMs) ont considérablement amélioré les systèmes de conversion texte en SQL. Cependant, la plupart des méthodes basées sur les LLMs se concentrent souvent de manière étroite sur la génération de SQL, négligeant les complexités des requêtes conversationnelles du monde réel. Cette omission peut conduire à des réponses peu fiables, en particulier pour les questions ambiguës qui ne peuvent pas être directement traitées avec SQL. Pour combler cette lacune, nous proposons MMSQL, une suite de tests complète conçue pour évaluer les capacités de classification des questions et de génération de SQL des LLMs en simulant des scénarios du monde réel avec divers types de questions et des interactions Q&R multi-tours. En utilisant MMSQL, nous avons évalué les performances des LLMs populaires, y compris les modèles open-source et closed-source, et identifié les facteurs clés affectant leurs performances dans ces scénarios. De plus, nous introduisons un cadre multi-agent basé sur les LLMs qui utilise des agents spécialisés pour identifier les types de questions et déterminer les stratégies d'answer appropriées. Nos expériences montrent que cette approche améliore considérablement la capacité du modèle à naviguer dans les complexités des dynamiques conversationnelles, gérant efficacement la nature diversifiée et complexe des requêtes utilisateur. Notre ensemble de données et notre code sont librement accessibles à l'adresse https://mcxiaoxiao.github.io/MMSQL.