SCoRe: التدريب المسبق لتمثيل السياق في تحليل المعنى الحواري

يُعد التحليل الدلالي التبادلي (CSP) المهمة التي تتمثل في تحويل تسلسل من الاستفسارات بلغة طبيعية إلى لغة رسمية (مثل SQL أو SPARQL) يمكن تنفيذها ضد هيكل معرفي منظم (مثل قواعد البيانات أو قواعد المعرفة). ولإنجاز هذه المهمة، يحتاج نظام CSP إلى نمذجة العلاقة بين الجملة اللغوية غير المنظمة والهيكل المعرفي المنظم، مع تمثيل الديناميكية متعددة الدورات في الحوار. تُعتبر النماذج اللغوية المُدرَّبة مسبقًا (LMs) الأفضل حاليًا في مجموعة متنوعة من مهام معالجة اللغة الطبيعية. ومع ذلك، تمتلك النماذج المُدرَّبة مسبقًا الحالية، التي تعتمد على أهداف تدريب نمذجة اللغة على النصوص الحرة، قدرة محدودة على تمثيل الإشارات اللغوية الطبيعية إلى البيانات الهيكلية السياقية. في هذا العمل، نقدم SCORE، وهي منهجية جديدة للتدريب المسبق للمهام المتعلقة بـ CSP، مصممة لاستخلاص تمثيلات تُظهر التوافق بين تدفق الحوار والسياق الهيكلي. نُظهر التطبيق الواسع النطاق لـ SCORE على مهام CSP من خلال دمج SCORE مع أنظمة أساسية قوية في أربع مهام مختلفة (SPARC، COSQL، MWOZ، وSQA). ونُظهر أن SCORE يمكنها تحسين الأداء على جميع هذه الأنظمة الأساسية بفارق كبير، وتحقيق نتائج من الدرجة الأولى في ثلاث منها. ستكون الإصدار المُعدّ لتنفيذ النموذج والنقاط المُحفوظة متاحة عبر عنوان URL مجهول.