NFLAT: محول غير مسطح للشبكة لمعرفة الكيانات الاسمية في اللغة الصينية

في الآونة الأخيرة، حقق نموذج Flat-Lattice Transformer (FLAT) نجاحًا كبيرًا في مجال التعرف على الكيانات المسماة باللغة الصينية (NER). يقوم FLAT بتعزيز المفردات من خلال بناء شبكات مسطحة، مما يخفف الصعوبات الناجمة عن حدود الكلمات غير الواضحة ونقص معاني الكلمات. في FLAT، يتم استخدام مواقع الحروف الابتدائية والنهاية لربط كلمة مطابقة. ومع ذلك، فإن هذه الطريقة من المحتمل أن تطابق المزيد من الكلمات عند التعامل مع النصوص الطويلة، مما يؤدي إلى توالي إدخال طويلة. لذلك، يزيد بشكل كبير من تكاليف الذاكرة والحسابات للوحدة الذاتية الانتباه (self-attention module). للتعامل مع هذه المشكلة، نقترح طريقة جديدة لتعزيز المفردات تُسمى InterFormer، والتي تقلل بكفاءة من كمية التكاليف الحاسوبية والذاكرة من خلال بناء شبكات غير مسطحة. بالإضافة إلى ذلك، باستخدام InterFormer كأساس، نقوم بتنفيذ NFLAT للترميز التلقائي للكلمات باللغة الصينية (Chinese NER). يقوم NFLAT بتقسيم دمج القاموس وترميز الخصائص السياقية. بالمقارنة مع FLAT، فإنه يقلل من حسابات الانتباه الغير ضرورية في "حرف-كلمة" و"كلمة-كلمة". هذا يقلل من استهلاك الذاكرة بنسبة حوالي 50٪ ويمكن استخدام قواميس أو دفعات تدريب أكثر اتساعًا لتدريب الشبكة العصبية. أظهرت النتائج التجريبية التي تم الحصول عليها على عدة مقاييس مشهورة تفوق الطريقة المقترحة على النماذج الهجينة الأكثر حداثة (الحروف-الكلمات) (state-of-the-art hybrid (character-word) models).