استكشاف نماذج النصوص-المحوّلة في مهمة مشاركة AAAI 2021: كشف الأخبار الكاذبة حول كوفيد-19 باللغة الإنجليزية

في هذه الورقة، نُقدّم نظامنا للمشاركة في مهمة AAAC 2021 المشتركة المتعلقة كشف الأخبار الكاذبة المتعلقة بفيروس كورونا (COVID-19) باللغة الإنجليزية، حيث حققنا المركز الثالث بتحصيل مقياس F1 الموزون قدره 0.9859 على مجموعة الاختبار. وبشكل خاص، اقترحنا طريقة تجميع (Ensemble) تجمع بين نماذج اللغة المُدرّبة مسبقًا المختلفة مثل BERT وRoBERTa وErnie، باستخدام استراتيجيات تدريب متنوعة تشمل التسخين (warm-up)، وجدول معدل التعلم (learning rate schedule)، والتحقق المتقاطع على k مجموعات (k-fold cross-validation). كما أجرينا تحليلًا واسع النطاق للعينات التي لم يتم تصنيفها بشكل صحيح. يمكن الوصول إلى الشفرة المصدرية من خلال الرابط التالي: https://github.com/archersama/3rd-solution-COVID19-Fake-News-Detection-in-English.