نموذج لغوي مُقنَّن مُعزّز بالمعرفة للكشف عن الموقف

كشف الموقف على تويتر يُعد تحديًا خاصًا نظرًا لطبيعة التغريدات القصيرة، واستمرار ظهور مصطلحات وهاشتاقات جديدة باستمرار، بالإضافة إلى انحراف تركيب الجمل عن الأسلوب السردي القياسي. وقد أظهرت النماذج اللغوية المُعدّلة باستخدام بيانات واسعة النطاق من المجال نفسه أنها أصبحت الحد الأقصى المُحرز حاليًا في العديد من مهام معالجة اللغة الطبيعية، بما في ذلك كشف الموقف. في هذه الورقة، نقترح طريقة جديدة لتعديل نموذج BERT تعتمد على تحسين نموذج اللغة المُقنّع للكشف عن الموقف. بدلًا من تغطية الرموز بشكل عشوائي، نقترح استخدام نسبة الاحتمالات اللوغاريتمية الموزونة لتحديد الكلمات ذات التمييز العالي بالنسبة للموقف، ثم نُنشئ آلية انتباه تركز على هذه الكلمات. ونُظهر أن النهج المقترح يتفوق على الحد الأقصى المُحرز في كشف الموقف على بيانات تويتر المتعلقة بالانتخابات الرئاسية الأمريكية لعام 2020.