HyperAIHyperAI
منذ 7 أيام

RASAT: دمج الهياكل العلاقاتية في نموذج تسلسل إلى تسلسل مُدرَّب مسبقًا للتحويل من النص إلى SQL

Jiexing Qi, Jingyao Tang, Ziwei He, Xiangpeng Wan, Yu Cheng, Chenghu Zhou, Xinbing Wang, Quanshi Zhang, Zhouhan Lin
RASAT: دمج الهياكل العلاقاتية في نموذج تسلسل إلى تسلسل مُدرَّب مسبقًا للتحويل من النص إلى SQL
الملخص

تم التحقق من أن الهياكل العلاقية مثل الربط بين المخططات (schema linking) وترميز المخططات (schema encoding) تُعد عنصراً أساسياً في الترجمة النوعية للغة الطبيعية إلى استعلامات SQL. ومع ذلك، فإن إدخال هذه العلاقات الهيكلية يترتب عليه تكاليف: إذ تؤدي عادةً إلى هيكل نموذج متخصص، مما يحول دون استخدام النماذج الكبيرة المُدرَّبة مسبقاً في مهام الترجمة من النص إلى SQL. ولحل هذه المشكلة، نقترح نموذجاً يُسمى RASAT: وهي بنية تسلسلية متعددة التحويلات (seq2seq) تعتمد على معمّل Transformer، مُحسّنة بانتباه ذاتي واعٍ بالعلاقات، مما يمكّنها من الاستفادة من مجموعة متنوعة من الهياكل العلاقية مع الحفاظ على المعاملات المُدرّبة مسبقاً من نموذج T5 بشكل فعّال. يمكن لنموذجنا دمج جميع أنواع العلاقات الموجودة حالياً في الأدبيات، بالإضافة إلى اقتراح إدخال علاقات التماثل (co-reference) في السياقات متعددة الدورات. وقد أظهرت النتائج التجريبية على ثلاث مجموعات بيانات شائعة الاستخدام في المهام من النص إلى SQL، والتي تغطي كلا السيناريوهات أحادية الدورة ومتعددة الدورات، أن RASAT تحقق نتائج رائدة على جميع المعايير الثلاثة (75.5% EX على Spider، و52.6% IEX على SParC، و37.4% IEX على CoSQL).

RASAT: دمج الهياكل العلاقاتية في نموذج تسلسل إلى تسلسل مُدرَّب مسبقًا للتحويل من النص إلى SQL | أحدث الأوراق البحثية | HyperAI