بالنسبة لاستخدام BERT لتقييم المقالات التلقائي: التعلم المشترك لتمثيل متعدد المقاييس للمقالات

في السنوات الأخيرة، أصبحت النماذج المُدرَّبة مسبقًا هي المهيمنة في معظم مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، في مجال التصنيف الآلي للرسائل (AES)، لم تُستخدَم النماذج المُدرَّبة مسبقًا مثل BERT بشكل مناسب للتفوّق على نماذج التعلم العميق الأخرى مثل LSTM. في هذا البحث، نقدّم تمثيلًا جديدًا متعدد المقاييس للرسائل باستخدام BERT يمكن تعلّمه بشكل مشترك. كما نستخدم خسائر متعددة ونقل التعلّم من نصوص خارج المجال لتحسين الأداء بشكل إضافي. تُظهر نتائج التجارب أن نهجنا يستفيد بشكل كبير من التعلّم المشترك لتمثيل الرسائل متعدد المقاييس، ويحقق نتائج تقترب من الحد الأقصى بين جميع نماذج التعلم العميق في مهمة ASAP. كما يُظهر تمثيل الرسائل متعدد المقاييس الخاص بنا أداءً جيدًا في تعميمه على مجموعة بيانات CommonLit Readability Prize، مما يشير إلى أن التمثيل النصي الجديد المقدّم في هذا البحث قد يكون خيارًا جديدًا وفعّالًا لمهمات النصوص الطويلة.