إعادة التفكير في الهياكل العصبية المعقدة لتصنيف المستندات
{Ashutosh Adhikari Achyudh Ram Raphael Tang Jimmy Lin}

الملخص
في السنوات الأخيرة، أصبحت نماذج الشبكات العصبية لمهام معالجة اللغة الطبيعية (NLP) أكثر تعقيدًا بشكل متزايد، مما جعل عملية التدريب والنشر أكثر صعوبة. وقد شكّك عدد من الدراسات الحديثة في ضرورة هذه الهياكل المعقدة، ووجدت أن النماذج البسيطة التي تُطبَّق بعناية تُظهر فعالية كبيرة. نُظهر أن الأمر ينطبق أيضًا على تصنيف المستندات: في دراسة واسعة النطاق حول قابلية إعادة التكرار لعدة نماذج عصبية حديثة، نجد أن بنية BiLSTM البسيطة مع تنظيم مناسب تحقق دقة وقيمة F1 تُعدّ منافسة أو تفوق مستوى الحد الأقصى المُحقَّق حاليًا على أربع مجموعات معيارية معيارية للبيانات. ومن المُدهش أن نموذجنا البسيط تمكّن من تحقيق هذه النتائج دون استخدام آليات الانتباه. وعلى الرغم من أن تقنيات التنظيم هذه، التي استُلهمت من نماذج اللغة، ليست جديدة، إلا أننا، إلى حد علمنا، أول من طبّقها في هذا السياق. تُقدّم دراستنا منصة مفتوحة المصدر وتوفر الأساس لعمل مستقبلي في مجال تصنيف المستندات.
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس |
|---|---|---|
| document-classification-on-imdb-m | LSTM-reg (single model) | Accuracy: 52.8 |
| document-classification-on-reuters-21578 | LSTM-reg (single model) | F1: 87.0 |
| text-classification-on-yelp-5 | LSTM-reg (single moedl) | Accuracy: 68.7% |
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.