في الآونة الأخيرة، جذب النموذج اللغوي المُدرب مسبقًا BERT (وإصداره المُحسّن بشكل راسخ RoBERTa) انتباهًا كبيرًا في مجال فهم اللغة الطبيعية (NLU)، وحقق دقةً قياسية في مجموعة متنوعة من مهام فهم اللغة الطبيعية، مثل تصنيف المشاعر، الاستدلال اللغوي الطبيعي، التشابه النصي الدلالي ورد الأسئلة. مستوحى من عمل Elman [8] في استكشاف التخطيط الخطي، قمنا بتوسيع BERT إلى نموذج جديد يُسمى StructBERT من خلال دمج بنية اللغة في مرحلة التدريب المسبق. تحديدًا، نقوم بتدريب StructBERT مسبقًا باستخدام مهمتين مساعدتين للاستفادة القصوى من ترتيب الكلمات والجمل التتابعي، مما يستغل بنية اللغة على مستوى الكلمات والجمل على التوالي. نتيجة لذلك، يتم تكييف النموذج الجديد مع مستويات مختلفة من فهم اللغة المطلوبة بواسطة المهام اللاحقة. حقق StructBERT مع التدريب المسبق البنيوي نتائج تجريبية جيدة بشكل مدهش في مجموعة متنوعة من المهام اللاحقة، بما في ذلك تحقيق أفضل مستوى حتى الآن على مقاييس GLUE بمعدل 89.0 (متفوقًا على جميع النماذج المنشورة)، وتحقيق درجة F1 على SQuAD v1.1 لرد الأسئلة بمعدل 93.0، وتحقيق الدقة على SNLI بمعدل 91.7.