بينغآن سمارت هيلث وجامعة شانغهاي جياو تونغ في مسابقة COIN - المهمة المشتركة: استغلال نماذج اللغة المُدرّبة مسبقًا والمعرفة الواقعية في مهام القراءة الآلية

لحل المهام المشتركة لورشة عمل COIN: الاستدلال المشترك في معالجة اللغة الطبيعية، نحتاج إلى استكشاف تأثير تمثيل المعرفة في نمذجة المعرفة المشتركة لتعزيز أداء فهم القراءة الآلية بما يتجاوز التوافق النصي البسيط. هناك طريقتان لتمثيل المعرفة في الفضاء ذي الأبعاد المنخفضة. الأولى هي الاستفادة من مجموعات نصية ضخمة غير مُعلَّمة لتدريب تمثيلات لغوية ثابتة أو سياقية. والطريقة الثانية هي التعبير الصريح عن المعرفة في رسم معرفي (KG)، ثم محاكاة نموذج لتمثيل الحقائق الموجودة في هذا الرسم. قمنا بتجريب كلا الاتجاهين: (أ) تحسين عملية التخصيص الدقيق للنماذج اللغوية المُدرّبة مسبقًا على مهمة ذات حجم بيانات صغير، من خلال الاستفادة من مجموعات بيانات مماثلة للمهام الأخرى؛ و(ب) دمج التمثيلات التوزيعية لرسم معرفي (KG) مع تمثيلات النماذج اللغوية المُدرّبة مسبقًا، عبر التسلسل البسيط أو الانتباه متعدد الرؤوس. وجدنا أن: (أ) بالنسبة للمهمة 1، فإن التخصيص الدقيق الأولي على مجموعات بيانات أكبر مثل RACE (Lai et al., 2017) وSWAG (Zellers et al., 2018)، يليه التخصيص الدقيق على المهمة المستهدفة، يُحسّن الأداء بشكل ملحوظ؛ (ب) بالنسبة للمهمة 2، وجدنا أن دمج رسم معرفي للمعرفة المشتركة، WordNet (Miller, 1995)، في نموذج Bert (Devlin et al., 2018)، يُعد مفيدًا، لكنه يُضر بأداء نموذج XLNET (Yang et al., 2019)، وهو نموذج مُدرّب مسبقًا أكثر قوة. وقد حقق نهجنا نتائج رائدة في كلا المهمتين على بيانات الاختبار الرسمية، متفوقًا على جميع التقديمات الأخرى.