شجرة CRF من الدرجة الثانية الفعّالة للتحليل الهرمي العصبي

في عصر التعلم العميق (DL)، تم تبسيط نماذج التحليل بشكل كبير مع الحد الأدنى من التأثير على الأداء، بفضل القدرة المميزة للشبكات العصبية متعددة الطبقات من نوع BiLSTM في تمثيل السياق. وباعتباره أكثر مُحلّل اعتمادًا على الرسوم البيانية نظرًا لفعاليته العالية وأدائه المتميز، يقوم مُحلّل البَيَافِين (biaffine parser) بتحصيل نقاط الاعتماد الفردي تحت افتراض التحليل الحدي (arc-factorization)، ويستخدم خسارة تدريب بسيطة جدًا تعتمد على التباديل المحلية بين الرموز (token-wise cross-entropy). تقدم هذه الورقة لأول مرة توسيعًا من الدرجة الثانية لنموذج TreeCRF على مُحلّل البَيَافِين. وعلى مدى فترة طويلة، عانت نماذج TreeCRF من تعقيد الخوارزمية الداخلية-الخارجية (inside-outside) وانعدام كفاءتها، مما حد من انتشارها. ولحل هذه المشكلة، نقترح طريقة فعّالة لحزمة تنفيذ خوارزميّتَي inside وViterbi لتمكين العمليات المصفوفية الكبيرة مباشرةً على وحدات معالجة الرسومات (GPUs)، مع تجنّب الخوارزمية الخارجية المعقدة من خلال تغذية عكسية فعّالة. أظهرت التجارب والتحليلات على 27 مجموعة بيانات من 13 لغة أن التقنيات التي تم تطويرها قبل عصر التعلم العميق، مثل التعلّم البنائي (خسارة TreeCRF الشاملة) والنمذجة عالية الرتبة، لا تزال مفيدة، ويمكنها تعزيز أداء التحليل بشكل إضافي مقارنةً بالحل المُحلّل البَيَافِين المُتفوّق حاليًا، وبشكل خاص عند استخدام بيانات تدريب جزئية التسمية. ونُعلن عن إتاحة الشفرة المصدرية الخاصة بنا عبر الرابط: https://github.com/yzhangcs/crfpar.