Graphix-T5: مزج المحولات المُدرّبة مسبقًا مع طبقات واعية بالرسم البياني لتحليل النص إلى SQL

أصبحت مهمة تحليل النص إلى SQL، التي تهدف إلى تحويل الأسئلة بلغة طبيعية إلى استعلامات SQL قابلة للتنفيذ، موضوعًا يحظى باهتمام متزايد في السنوات الأخيرة، نظرًا لقدرته على مساعدة المستخدمين النهائيين على استخراج المعلومات الحيوية من قواعد البيانات بكفاءة دون الحاجة إلى خلفية تقنية. أحد التحديات الرئيسية في تحليل النص إلى SQL هو التعميم عبر المجالات، أي كيفية التعميم بشكل جيد على قواعد بيانات غير مرئية. في الآونة الأخيرة، حققت النموذج المُدرّب مسبقًا من نوع نموذج الترانسفورمر النصي-إلى-النص، المعروف باسم T5، على الرغم من أنه ليس مخصصًا خصيصًا لتحليل النص إلى SQL، أداءً متميزًا على المعايير القياسية التي تستهدف التعميم عبر المجالات. في هذا العمل، نستكشف طرقًا لتعزيز نموذج T5 المُدرّب مسبقًا بعناصر متخصصة لتحليل النص إلى SQL. من المتوقع أن تُدخل هذه العناصر انحيازًا تشاركيًا بنائيًا إلى مُحلّلات النص إلى SQL، مما يُحسّن قدرة النموذج على الاستدلال (ربما متعدد الخطوات)، وهو أمر بالغ الأهمية لتكوين استعلامات SQL غنية بالهيكل. ولتحقيق هذا الهدف، نقترح معمارية جديدة تُسمى GRAPHIX-T5، وهي نموذج مختلط يعتمد على النموذج القياسي المُدرّب مسبقًا من نوع الترانسفورمر، مع إضافة طبقات مُصممة خصيصًا للاستجابة للرسوم البيانية. أظهرت التجارب والتحليلات الواسعة فعالية GRAPHIX-T5 عبر أربع معايير لتحليل النص إلى SQL: SPIDER وSYN وREALISTIC وDK. تفوق GRAPHIX-T5 جميع مُحلّلات T5 الأخرى بفارق كبير، وحقق أداءً جديدًا على مستوى الحالة الحالية. وبشكل ملحوظ، حقق نموذج GRAPHIX-T5-large أداءً أفضل بنسبة 5.7% في دقة التطابق الدقيق (EM) و6.6% في دقة التنفيذ (EX) مقارنةً بنموذج T5-large الأصلي. كما تفوق حتى نموذج T5-3B بنسبة 1.2% في دقة EM و1.5% في دقة EX.