نموذج العصبونات الهادفة للتمييز بين الكيانات الاسمية

تمثّل التعرف على الكيانات المحددة (NER) مهمة أساسية ومحورية في معالجة اللغة الطبيعية (NLP)، وتهدف إلى تحديد الكيانات المحددة (NEs) من النصوص الحرة. في الآونة الأخيرة، نظرًا لأن آلية الانتباه متعددة الرؤوس (multi-head attention) المستخدمة في نموذج Transformer قادرة على التقاط معلومات سياقية أطول بكفاءة، أصبحت النماذج المستندة إلى Transformer الاتجاه السائد، وحققت أداءً ملحوظًا في هذه المهمة. ومع ذلك، وعلى الرغم من قدرة هذه النماذج على التقاط معلومات سياقية عالمية فعّالة، إلا أنها ما زالت محدودة في استخراج المعلومات الموضعية والميزات المحلية، وهي أمور بالغة الأهمية في مهام التعرف على الكيانات. في هذا البحث، لمعالجة هذه القيود، نقترح بنية عصبية جديدة تُسمى Hero-Gang Neural (HGN)، والتي تتضمن وحدة Hero ووحدة Gang، بهدف الاستفادة من المعلومات العالمية والمحليّة معًا لتعزيز أداء التعرف على الكيانات. وبشكل محدد، تتكوّن وحدة Hero من معالج مبني على Transformer للحفاظ على الميزة التي تمنحها آلية الانتباه الذاتي، بينما تستخدم وحدة Gang وحدة تكرارية متعددة النوافذ لاستخراج الميزات المحلية والمعلومات الموضعية تحت إشراف وحدة Hero. وبعد ذلك، يُطبّق الانتباه متعدد النوافذ المقترح بشكل فعّال على دمج المعلومات العالمية مع عدة ميزات محلية لتنبؤ بعلامات الكيانات. وأظهرت النتائج التجريبية على عدة مجموعات بيانات معيارية فعالية النموذج المقترح.