TENER: تكييف مشغل التحويل لتحديد الكيانات المحددة

تم استخدام شبكات الذاكرة الطويلة القصيرة双向ية (BiLSTM) على نطاق واسع كمُشفر (Encoder) في النماذج التي تحلّ مسألة التعرف على الكيانات المحددة (NER). في الآونة الأخيرة، أصبحت نموذج الـ Transformer مُعتمدًا على نطاق واسع في مختلف مهام معالجة اللغة الطبيعية (NLP) بفضل قدرته على المعالجة المتوازية وأدائه المتميز. ومع ذلك، لا يُظهر الـ Transformer أداءً جيدًا في مهام NER مقارنةً بأدائه في مهام NLP الأخرى. في هذا البحث، نقترح نموذج TENER، وهو معمارية لمعالجة NER تستخدم مشفرًا مُعدّلًا من نوع Transformer لنمذجة السمات على مستوى الحروف وعلى مستوى الكلمات. من خلال دمج انتباه يراعي الاتجاه والمسافة النسبية، بالإضافة إلى انتباه غير مُعدّل (unscaled attention)، نُثبت أن مشفرًا على غرار Transformer يمكن أن يكون فعّالاً بنفس الدرجة في مهام NER كما هو الحال في المهام الأخرى لمعالجة اللغة الطبيعية.