نقدّم نموذج BERTweet، أول نموذج لغوي مُدرّب مسبقًا على نطاق واسع باللغة الإنجليزية خاص بمنشورات تويتر. يتميّز نموذج BERTweet، الذي يمتلك نفس البنية المعمارية لنموذج BERT-base (Devlin et al., 2019)، بتدريبه باستخدام إجراء التدريب المسبق لنموذج RoBERTa (Liu et al., 2019). تُظهر التجارب أن BERTweet يتفوّق على النماذج القوية السابقة مثل RoBERTa-base وXLM-R-base (Conneau et al., 2020)، ويحقق أداءً أفضل من النماذج السابقة الأكثر تقدّمًا في ثلاث مهام لغوية تتعلق بمنشورات تويتر: تحديد الصفة النحوية (Part-of-speech tagging)، وتحديد الكيانات المُعرفة (Named-entity recognition)، وتصنيف النصوص. ونُطلق نموذج BERTweet تحت رخصة MIT لتسهيل الأبحاث والتطبيقات المستقبلية المتعلقة ببيانات تويتر. يمكن الوصول إلى نموذج BERTweet عبر الرابط التالي: https://github.com/VinAIResearch/BERTweet