تقييم وتحسين نماذج اللغة الكبيرة (LLMs) للتحويل النصي إلى SQL متعدد الدورات مع أنواع متعددة من الأسئلة

التطورات الحديثة في نماذج اللغة الكبيرة (LLMs) قد أحدثت تقدماً كبيراً في أنظمة النص إلى SQL. ومع ذلك، فإن معظم الطرق المستندة إلى نماذج اللغة الكبيرة تركز بشكل ضيق على إنشاء SQL، مما يتجاهل التعقيدات المرتبطة بالاستفسارات التفاعلية الحقيقية. يمكن أن يؤدي هذا الإغفال إلى استجابات غير موثوقة، خاصة بالنسبة للأسئلة الغامضة التي لا يمكن معالجتها مباشرة باستخدام SQL. لسد هذه الفجوة، نقترح MMSQL، وهو مجموعة اختبار شاملة مصممة لتقييم قدرات تصنيف الأسئلة وإنشاء SQL لنماذج اللغة الكبيرة من خلال محاكاة السيناريوهات الحقيقية مع أنواع مختلفة من الأسئلة وتفاعلات أسئلة وأجوبة متعددة الدورات. باستخدام MMSQL، قمنا بتقييم أداء النماذج الشائعة من نماذج اللغة الكبيرة، بما في ذلك النماذج المفتوحة المصدر والمغلقة المصدر، وحددنا العوامل الرئيسية المؤثرة على أدائها في مثل هذه السيناريوهات. علاوة على ذلك، نقدم إطار عمل متعدد الوكلاء مستند إلى نموذج اللغة الكبير يستخدم وكلاء متخصصين لتحديد أنواع الأسئلة وتحديد استراتيجيات الإجابة المناسبة. تظهر تجاربنا أن هذا النهج يعزز بشكل كبير قدرة النموذج على التعامل مع تعقيدات الديناميكيات التفاعلية، معالجة الطبيعة المتنوعة والمعقدة لاستفسارات المستخدمين بفعالية. مجموعة البيانات والكود الخاصة بنا متاحة للعامة على الرابط https://mcxiaoxiao.github.io/MMSQL.