تقييم معياري للتحويل النصي إلى SQL بفضل النماذج اللغوية الكبيرة

أصبحت النماذج اللغوية الكبيرة (LLMs) نموذجًا جديدًا لمهام تحويل النص إلى SQL. ومع ذلك، فإن غياب معيار مُنظّم وشامل يعيق تطوير حلول فعّالة وكفؤة واقتصادية تعتمد على النماذج اللغوية الكبيرة لتحويل النص إلى SQL. ولحل هذه التحديات، نقوم في هذه الورقة أولاً بمقارنة شاملة ومتعمقة بين الطرق الحالية لتصميم النصوص (prompt engineering)، بما في ذلك تمثيل السؤال، وتحديد الأمثلة، وتنظيمها، وبناءً على نتائج هذه التجارب، نوضح مزايا وعيوب كل من هذه الطرق. وباستناد إلى هذه النتائج، نقترح حلًا متكاملًا جديدًا يُدعى DAIL-SQL، الذي يُحدّث قائمة التصنيف (Spider leaderboard) بتحقيق دقة تنفيذية تبلغ 86.6% ويُحدّد معيارًا جديدًا. ولاستكشاف الإمكانات المتوفرة في النماذج اللغوية المفتوحة المصدر، ندرسها في سياقات مختلفة، ونُعزّز أداؤها لاحقًا من خلال التدريب المُوجّه (supervised fine-tuning). وتُبرز دراساتنا إمكانات النماذج اللغوية المفتوحة المصدر في مهام تحويل النص إلى SQL، إلى جانب مزايا وعيوب التدريب المُوجّه. علاوةً على ذلك، وانطلاقًا من حرصنا على تحقيق حلول فعّالة واقتصادية تعتمد على النماذج اللغوية الكبيرة، نُركّز على كفاءة استخدام الرموز (token efficiency) في تصميم النصوص، ونُقارن الدراسات السابقة من خلال هذا المؤشر. نأمل أن تُسهم أبحاثنا في تعميق الفهم لمهام تحويل النص إلى SQL باستخدام النماذج اللغوية الكبيرة، وتحفيز المزيد من الدراسات والاستكشافات، وتوسيع نطاق تطبيقاتها.