الشبكات العصبية التكرارية غير المراقبة للقواعد اللغوية

الشبكات العصبية التكرارية النحوية (RNNG) هي نماذج مولدة للغة تُعد النحو والهيكل السطحي بشكل مشترك من خلال إنشاء شجرة نحوية وجملة تدريجيًا وبترتيب من الأعلى إلى الأسفل ومن اليسار إلى اليمين. تحقق الشبكات العصبية التكرارية المراقبة أداءً قويًا في نمذجة اللغة وتحليل الجمل، لكنها تتطلب مجموعة بيانات مصحوبة بتعليقات تحتوي على شجرات التحليل. في هذا البحث، نجري تجارب حول تعلم الشبكات العصبية التكرارية النحوية دون إشراف. بما أن الحساب المباشر للاحتمالات على فضاء الأشجار الكامنة غير قابل للتنفيذ، فإننا نطبق بدلاً من ذلك الاستدلال المتغير المخفف. لتعظيم الحد السفلي للأدلة، نطور شبكة استدلال معاملة كنظام تصنيف عضوي يعتمد على الشبكة العصبية CRF (Conditional Random Field). في نمذجة اللغة، تؤدي الشبكات العصبية التكرارية النحوية غير المراقبة بنفس جودة نظيراتها المراقبة في اختبارات مقاييس الإنجليزية والصينية. فيما يتعلق باستقراء القواعد التركيبية، فهي تنافس النماذج اللغوية العصبية الحديثة التي تستنتج بنية الأشجار من الكلمات عبر آليات الانتباه (Attention Mechanisms).