نقوم بتجريب نماذج COVID-Twitter-BERT وRoBERTa لتحديد التغريدات المفيدة المتعلقة بفيروس كورونا. ونُجري أيضًا تجربة للتدريب المُضاد (adversarial training) لجعل النماذج أكثر مقاومةً. يحقق المزيج (الإنسَمِن) بين نموذج COVID-Twitter-BERT وRoBERTa نتيجة F1-score قدرها 0.9096 (على الفئة الموجبة) على بيانات الاختبار الخاصة بمهام WNUT-2020 المهمة 2، ويحتل المرتبة الأولى في قائمة التصنيف (leaderboard). كما يُظهر المزيج الناتج عن نماذج تم تدريبها باستخدام التدريب المُضاد نتائج مشابهة.