لقد حقق نموذج تمثيلات المُشَرِّح ثنائي الاتجاه من خلال المحولات (BERT) أداءً متقدمًا للغاية في مجموعة واسعة من مهام معالجة اللغة الطبيعية، بما في ذلك تصنيف الجملة والترجمة الآلية والإجابة على الأسئلة. ويُستمد معمارية نموذج BERT بشكل رئيسي من المحولات (Transformer). قبل عصر المحولات، كان نموذج الذاكرة القصيرة والطويلة ثنائي الاتجاه (BLSTM) هو المعمارية المُهيمنة في نمذجة الترجمة الآلية ونماذج الإجابة على الأسئلة. في هذه الورقة البحثية، نستكشف كيف يمكن دمج هاتين التقنيتين النمذجيتين لخلق معمارية نموذجية أكثر قوة. ونُقدّم معمارية جديدة تُسمّى "المُحول مع BLSTM" (TRANS-BLSTM)، والتي تضم طبقة BLSTM ضمن كل كتلة محول، مما يؤدي إلى إطار نمذجة مُشترَك بين المحولات وBLSTM. ونُظهر أن نماذج TRANS-BLSTM تُحقّق تحسينات مستمرة في الدقة مقارنةً بنماذج BERT الأساسية في تجارب GLUE وSQuAD 1.1. كما حقق نموذجنا TRANS-BLSTM نتيجة F1 قدرها 94.01% على مجموعة بيانات تطوير SQuAD 1.1، وهي نتيجة مُقارنةً بالنتائج الرائدة في المجال.