استنتاج مصدر النصوص الرسمية: هل يمكن لـ SVM أن يتفوق على ULMFiT؟

تحتوي الصحف الرسمية على مصدر غني للمعلومات ذات الصلة بالجمهور. وقد يؤدي فحصها الدقيق إلى اكتشاف حالات غش وسلوكيات غير نظامية قد تُعَرّض إدارة الأموال العامة للخطر. يقدّم هذا البحث مجموعة بيانات مكوّنة من وثائق صادرة عن الصحيفة الرسمية للمنطقة الاتحادية، تتضمّن عينات مُوسومة بمصدر الوثيقة وعينات غير موسومة. قمنا بتدريب النموذج واستخدامه لتقييمه ومقارنته بنموذج يعتمد على التعلم الناقل يستخدم ULMFiT، مع نماذج تقليدية تعتمد على نموذج "حقيبة الكلمات" (bag-of-words) باستخدام خوارزميتي التصنيف الداعم المتجهات (SVM) والبايز البسيط (Naive Bayes). ووجدنا أن نموذج SVM يُعدّ منافسًا قويًا، حيث تُظهر أداءه تفوقًا طفيفًا على نموذج ULMFiT، مع سرعة أعلى في التدريب والاستنتاج، وتكاليف حسابية أقل بكثير. وأخيرًا، أجرينا تحليلًا تجريبيًا (أبليشن) لتقييم التأثير الناتج عن مكونات نموذج ULMFiT على الأداء.