نقدم ReCAT، وهو نموذج Transformer مُحسَّن بتكوين متكرر قادر على نمذجة الهياكل النحوية الهرمية للنصوص الخام بشكل صريح دون الاعتماد على الأشجار الذهبية أثناء التعلم والاستدلال. تقتصر الأبحاث الحالية في هذا المجال على جعل البيانات تتبع هيكل شجرة هرمي، مما يفتقر إلى التواصل بين الفواصل. لحل هذه المشكلة، نقترح طبقة داخلية-خارجية سياقية (CIO) جديدة تتعلم تمثيلات سياقية للفواصل من خلال عمليات تصاعدية وهبوطية، حيث تقوم العملية التصاعدية بتكوين تمثيلات للفواصل المرتفعة عن طريق تركيب الفواصل المنخفضة، بينما تجمع العملية الهبوطية المعلومات داخل وخارج الفاصل. من خلال تكديس عدة طبقات CIO بين طبقة التضمين وطبقات الانتباه في Transformer، يمكن لنموذج ReCAT أن يقوم بالتفاعلات العميقة داخل الفواصل والتفاعلات العميقة بين الفواصل، وبالتالي إنتاج تمثيلات متعددة الحبيبات مُسَيَّقَة بالكامل مع باقي الفواصل. علاوة على ذلك، يمكن تدريب الطبقات الداخلية-الخارجية السياقية بشكل مشترك مع Transformers، مما يجعل ReCAT يتمتع بقدرة التوسع وأداءً قويًا وقابلية للتفسير في الوقت نفسه. نجري تجارب على مجموعة متنوعة من المهام المستوية عند الجملة والفواصل. تشير نتائج التقييم إلى أن ReCAT يمكنه تحقيق أداء أفضل بكثير من نماذج Transformer التقليدية في جميع المهام المستوية عند الفواصل ومن خطوط الأساس التي تدمج الشبكات المتكررة مع Transformers في مهام الاستدلال اللغوي الطبيعي. وبشكل أكثر إثارة للاهتمام، فإن الهياكل الهرمية التي تستنتجه ReCAT تظهر اتساقًا قويًا مع الأشجار النحوية التي تم تحديدها بواسطة البشر، مما يدل على القابلية للتفسير الجيدة التي توفرها الطبقات الداخلية-الخارجية السياقية (CIO).