CAE: آلية لتقليل التحيز الطبقي في مهمة تعبئة الفتحات في SLU

يُعدّ مُهمّة فهم اللغة المُتَحدّثة (SLU) مهمةً واسعة الانتشار في مجال معالجة اللغة الطبيعية. وفي ظل نجاح نموذج BERT المُدرّب مسبقًا، تم معالجة مهمة فهم اللغة الطبيعية (NLU) من خلال مهام تصنيف النية (Intent Classification) وتعبئة الحقول (Slot Filling)، مما أسفر عن تحسين ملحوظ في الأداء. ومع ذلك، لم تُدرس مشكلة عدم التوازن بين الفئات في NLU بعناية، في حين أن هذه المشكلة شائعة جدًا في مجموعات بيانات التحليل الدلالي (Semantic Parsing). ولذلك، تتركز هذه الدراسة على تقليل هذه المشكلة. وقد قمنا بتطوير معمارية قائمة على BERT تُسمّى JointBERT Classify Anonymous Entity (JointBERT-CAE)، والتي تُحسّن أداء النظام على ثلاث مجموعات بيانات للتحليل الدلالي: ATIS، Snips، ATIS الفيتنامية، بالإضافة إلى مجموعة بيانات معروفة لتحديد الكيانات الاسمية (NER) تُدعى CoNLL2003. في البنية المُقترحة JointBERT-CAE، نستخدم التعلّم المشترك متعدد المهام لتقسيم مهمة تعبئة الحقول التقليدية إلى مهام فرعية اثنتين: الكشف عن الكيانات المجهولة باستخدام التصنيف التسلسلي (Sequence Tagging)، وتصنيف الكيانات المجهولة التي تم التعرف عليها. أظهرت النتائج التجريبية تحسنًا ملحوظًا لـ JointBERT-CAE مقارنةً بـ BERT على جميع المجموعات البيانات، كما أثبتت قدرتها الواسعة على التكيّف مع مهام أخرى في معالجة اللغة الطبيعية التي تعتمد على تقنية التصنيف التسلسلي.