TweetEval: معيار موحد وتقييم مقارن لتصنيف التغريدات

تُعد البيئة التجريبية في معالجة اللغة الطبيعية للوسائط الاجتماعية مجزأة للغاية. كل عام، تُقترح مهام مشتركة ومجاميع بيانات جديدة، تمتد من الكلاسيكيات مثل تحليل المشاعر إلى كشف السخرية أو توقع الرموز التعبيرية (emoji). وبالتالي، يظل من غير الواضح ما هو الوضع الحالي في القمة، نظرًا لعدم وجود بروتوكول تقييم معياري، ولا مجموعة قوية من النماذج المرجعية التي تم تدريبها على بيانات مخصصة لهذا المجال. في هذا البحث، نقترح إطار تقييم جديد (TweetEval) يتكون من سبعة مهام تصنيف متميزة مخصصة لمنصة تويتر. كما نوفر مجموعة قوية من النماذج المرجعية كنقطة بداية، ونقارن بين استراتيجيات مختلفة لتدريب النماذج اللغوية مسبقًا. تُظهر تجاربنا الأولية فعالية البدء بنماذج لغوية مسبقة التدريب عامة موجودة مسبقًا، ثم الاستمرار في تدريبها على مجموعات بيانات من تويتر.