لماذا الاهتمام؟ تحليل نقص BiLSTM وعلاجاته في حالة التسمية الكيانية

يُستخدم النموذج الثنائي LSTM (BiLSTM) بشكل شائع كوحدة أساسية لتحديد الكيانات المسماة (NER) في إطار تسمية التسلسل. تستخدم الأساليب الأكثر تقدماً BiLSTM مع موارد إضافية مثل القوائم الاسمية (gazetteers)، نمذجة اللغة، أو الرقابة متعددة المهام لتحسين NER بشكل أكبر. بدلاً من ذلك، تركز هذه الورقة على خطوة للخلف وتحليل مشاكل BiLSTM نفسها وكيف يمكن للانتباه الذاتي أن يجلب التحسينات بالضبط. نوضح رسمياً حدود (CRF-)BiLSTM في نمذجة الأنماط عبر السياقات لكل كلمة -- حدود XOR. ثم، نبين أن نوعين بسيطين من الهياكل العابرة -- الانتباه الذاتي و Cross-BiLSTM -- يمكنهما تصحيح المشكلة بشكل فعال. نختبر الآثار العملية لهذه النقص على مجموعات بيانات NER الحقيقية، OntoNotes 5.0 و WNUT 2017، مع تحسينات واضحة ومتسقة فوق النموذج الأساسي، يصل إلى 8.7% في بعض الإشارات الكيانية المتعددة الكلمات. نقدم تحليلات عميقة للتحسينات في جوانب مختلفة من NER، وخاصة تحديد الإشارات الكيانية المتعددة الكلمات. يجب أن يضع هذا البحث أساسًا صلبًا للتحسينات المستقبلية في تسمية التسلسل لـ NER.(الرموز البرمجية: https://github.com/jacobvsdanniel/cross-ner)