استنتاج مصدر النصوص الرسمية: هل يمكن لـ SVM أن يتفوق على ULMFiT؟
{Marcelo Magalhães Silva de Sousa Teófilo Emidio de Campos Pedro Henrique Luz de Araujo}
الملخص
تحتوي الصحف الرسمية على مصدر غني للمعلومات ذات الصلة بالجمهور. وقد يؤدي فحصها الدقيق إلى اكتشاف حالات غش وسلوكيات غير نظامية قد تُعَرّض إدارة الأموال العامة للخطر. يقدّم هذا البحث مجموعة بيانات مكوّنة من وثائق صادرة عن الصحيفة الرسمية للمنطقة الاتحادية، تتضمّن عينات مُوسومة بمصدر الوثيقة وعينات غير موسومة. قمنا بتدريب النموذج واستخدامه لتقييمه ومقارنته بنموذج يعتمد على التعلم الناقل يستخدم ULMFiT، مع نماذج تقليدية تعتمد على نموذج "حقيبة الكلمات" (bag-of-words) باستخدام خوارزميتي التصنيف الداعم المتجهات (SVM) والبايز البسيط (Naive Bayes). ووجدنا أن نموذج SVM يُعدّ منافسًا قويًا، حيث تُظهر أداءه تفوقًا طفيفًا على نموذج ULMFiT، مع سرعة أعلى في التدريب والاستنتاج، وتكاليف حسابية أقل بكثير. وأخيرًا، أجرينا تحليلًا تجريبيًا (أبليشن) لتقييم التأثير الناتج عن مكونات نموذج ULMFiT على الأداء.
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس |
|---|---|---|
| text-classification-on-dodf-data | SVM + tf-idf (no pre-trained vocab) | Average F1: 0.8755 Weighted F1: 0.8917 |
| text-classification-on-dodf-data | ULMFiT (pre-trained vocab, no gradual unfreezing) | Average F1: 0.8918 Weighted F1: 0.9257 |
| text-classification-on-dodf-data | SVM + word counts (pre-trained vocab) | Average F1: 0.8782 Weighted F1: 0.9049 |
| text-classification-on-dodf-data | ULMFiT (pre-trained vocab) | Average F1: 0.8374 Weighted F1: 0.9088 |
| text-classification-on-dodf-data | ULMFiT (no pre-trained vocab) | Average F1: 0.8469 Weighted F1: 0.8974 |
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.