تحليل تراكيب البناء العصبي السريع والدقيق باستخدام CRF

تقدير توزيع الاحتمالات يُعدّ أحد القضايا الأساسية في مجال معالجة اللغة الطبيعية (NLP). ومع ذلك، في كلا العصرين السابق واللاحق للتعلم العميق (DL)، وعلى عكس التطبيقات الواسعة للنموذج التسلسلي الخطي CRF في مهام التسمية التسلسلية، فإن عدد المنشورات التي طبّقت نموذج CRF ذا البنية الشجرية على تحليل التركيب النحوي كان قليلاً للغاية، وذلك أساساً بسبب التعقيد والكفاءة المنخفضة لخوارزمية inside-outside. يقدم هذا العمل نموذجًا سريعًا ودقيقًا لتحليل التركيب النحوي باستخدام CRF العصبي. الفكرة الأساسية تكمن في تجميع خوارزمية inside لحساب الخسارة من خلال عمليات كثيفة على مصفوفات كبيرة مباشرة على وحدة معالجة الرسوميات (GPU)، وفي الوقت نفسه تجنب استخدام خوارزمية outside لحساب التدرجات من خلال التمرير العكسي الفعّال. كما نقترح نهجًا بسيطًا مكونًا من مرحلتين: التحديد أولاً (bracketing)، ثم التسمية (labeling)، بهدف تحسين الكفاءة أكثر. ولتحسين أداء التحليل، مستلهمين التقدم الأخير في تحليل الاعتماد، نقدّم معمارية تقييم جديدة تعتمد على تمثيل الحدود (boundary representation) والانتباه ثنائي التأثير (biaffine attention)، بالإضافة إلى استراتيجية تقليل مناسبة (beneficial dropout). أظهرت التجارب على مجموعات البيانات PTB وCTB5.1 وCTB7 أن نموذجنا ثنائي المراحل باستخدام CRF يحقق أداءً متقدماً جدًا على مستويي w/o وw/ BERT، ويُمكنه تحليل أكثر من 1000 جملة في الثانية. ونُشر الكود الخاص بنا على الرابط: https://github.com/yzhangcs/crfpar.