التشفير الفردي للشجرة في مُشفّرات التكرار الخارجة-الداخلية العميقة غير المراقبة باستخدام S-DIORA

النموذج العصبي ذاتي التدريب المعروف بـ (DIORA؛ Drozdov et al. 2019) هو نموذج عصبي ذاتي التدريب يتعلم استنتاج هياكل شجرية نحوية للجمل المدخلة دون الحاجة إلى بيانات تدريب مُعلَّمة. في هذه الورقة، نكتشف أن DIORA، رغم قدرته على تشفير جميع الأشجار الثنائية الممكنة للجملة باستخدام برنامج ديناميكي ناعم، فإن نهجه المبني على المتوسط المتجهي يُظهر سلوكًا محليًا جشعًا، ولا يمكنه التصحيح من الأخطاء عند حساب أعلى شجرة تحليلية من حيث الدرجة في عملية تحليل الجملة من الأسفل إلى الأعلى باستخدام جدول التحليل. لحل هذه المشكلة، نقدّم S-DIORA، وهو نسخة محسّنة من DIORA، حيث يتم تشفير شجرة واحدة فقط بدلاً من مزيج ناعم من الأشجار، وذلك باستخدام عملية argmax صارمة وشريط (beam) في كل خلية داخل الجدول. تُظهر تجاربنا أن التحسين عبر إعادة ضبط دقيق (fine-tuning) لنموذج DIORA المُدرّب مسبقًا باستخدام خوارزميتنا الجديدة يؤدي إلى تحسين الحالة الراهنة في تحليل التركيب غير المُعلَّم (unsupervised constituency parsing) على مجموعة بيانات English WSJ Penn Treebank بنسبة 2.2 إلى 6% من حيث دقة F1، حسب نوع البيانات المستخدمة في إعادة الضبط الدقيق.