نقترح نموذج لغة عصبيًا قادرًا على استنتاج الهيكل النحوي بطريقة غير مراقبة. يستخدم هذا النموذج المعلومات الهيكلية لتكوين تمثيلات معنوية أفضل ولتحسين نمذجة اللغة. تقتصر الشبكات العصبية التكرارية التقليدية على هيكلها ولا تستطيع استخدام المعلومات النحوية بكفاءة. من ناحية أخرى، غالبًا ما تتطلب الشبكات المتكررة ذات الهيكل الشجري إشرافًا هيكليًا إضافيًا بتكاليف تتعلق بالخبراء البشريين. في هذه الورقة البحثية، نقترح نموذج لغة عصبي جديد يُسمى شبكات التحليل-القراءة-التوقع (PRPN)، يمكنه استنتاج الهيكل النحوي من الجمل غير المصححة واستخدام الهيكل المستنتِج لتعلم نموذج لغة أفضل بشكل متزامن. في نموذجنا، يمكن أن يتدفق التدرج مباشرة من خسارة نمذجة اللغة إلى الشبكة العصبية للتحليل. تظهر التجارب أن النموذج المقترح يمكنه اكتشاف الهيكل النحوي الكامن وتحقيق أداء رائد في مهام نمذجة اللغة على مستوى الكلمات والأحرف.