في هذا البحث، نقترح إطارًا جديدًا مستندًا إلى التدريب المسبق للشفرة-المفككة (encoder-decoder)، يمكنه إنشاء تسلسل الإخراج بناءً على تسلسل الإدخال بطريقة ثنائية المرحلة. بالنسبة لشفرة النموذج الخاص بنا، نحول تسلسل الإدخال إلى تمثيلات سياقية باستخدام BERT. أما بالنسبة للمفككة، فهناك مرحلتان في نموذجنا: في المرحلة الأولى، نستخدم مفككة مستندة إلى Transformer لإنشاء تسلسل إخراج مسودة. وفي المرحلة الثانية، نقوم بتغطية كل كلمة من تسلسل المسودة وتقديمها إلى BERT، ثم عن طريق دمج تسلسل الإدخال والتمثيل المسودة الذي أنشأته BERT، نستخدم مفككة مستندة إلى Transformer للتنبؤ بالكلمة المُحسَّنة لكل موقع محجوب. حسب علم us، يعد نهجنا هو أول طريقة تستعمل BERT في مهام إنشاء النصوص. كخطوة أولى في هذا الاتجاه، قمنا بتقييم الطريقة المقترحة على مهمة اختصار النصوص. أظهرت النتائج التجريبية أن نموذجنا حقق أفضل مستوى جديد على كل من مجموعة بيانات CNN/Daily Mail ومجموعة بيانات New York Times.