تمثيل سياقي هرمي للتعرف على الكيانات المحددة

تُبنى نماذج التعرف على الكيانات المحددة (NER) عادةً على بنية LSTM الثنائية الاتجاه (BiLSTM). ومع ذلك، فإن القيود الناتجة عن الطبيعة التسلسلية والنمذجة للإدخال الفردي تمنع الاستفادة الكاملة من المعلومات الشاملة من نطاق أوسع، سواء في الجملة بأكملها أو في المستند بأكمله (المجموعة البيانات). في هذا البحث، نعالج هاتين العيوب ونُقدِّم نموذجًا مُعززًا بتمثيل سياقي هرمي: تمثيل على مستوى الجملة وتمثيل على مستوى المستند. وعلى مستوى الجملة، نأخذ بعين الاعتبار المساهمات المختلفة للكلمات داخل جملة واحدة لتعزيز تمثيل الجملة المستمد من BiLSTM المستقلة من خلال آلية انتباه ترميز التسمية. وعلى مستوى المستند، نستخدم شبكة الذاكرة ذات القيم الرئيسية (key-value memory network) لتسجيل المعلومات المُدركة للمستند لكل كلمة فريدة، بحيث تكون حساسة لتشابه معلومات السياق. يتم دمج تمثيلاتنا السياقية الهرمية على مستويين مع تمثيل كل رمز مدخل (token embedding) وحالة الخلفية (hidden state) المقابلة لـ BiLSTM، على التوالي. وأظهرت النتائج التجريبية على ثلاث مجموعات بيانات معيارية لـ NER (مجموعتا CoNLL-2003 وOntonotes 5.0 الإنجليزية، ومجموعة CoNLL-2002 الإسبانية) أننا تمكّنا من تحقيق نتائج جديدة على مستوى الحد الأقصى (state-of-the-art).