العمل الحالي في تدريب النماذج الأولي لتقنيات توليد اللغة الطبيعية يولي القليل من الاهتمام لمشكلة التحيز في التعرض (exposure bias) في المهام اللاحقة. لمعالجة هذه المشكلة، نقترح إطارًا محسنًا للتدريب والضبط الدقيق للتوالي إلى توالي مع عدة تدفقات يُطلق عليه اسم ERNIE-GEN، والذي يقلل الفجوة بين التدريب والاستدلال باستخدام آلية توليد الإكمال (infilling generation) وطريقة توليد مقاومة للضوضاء (noise-aware generation). لتحقيق قرب أكبر بين توليد النص وأنماط الكتابة البشرية، يُدخل هذا الإطار تدفق توليد متتابع حسب الجمل، حيث يتم تدريب النموذج على التنبؤ بفواصل ذات معنى كامل بشكل متتابع بدلاً من التنبؤ بكلمة بكلمة. على عكس طرق التدريب الأولي الموجودة حاليًا، يدمج ERNIE-GEN عملية اختيار الأهداف بمستويات مختلفة من الدقة (multi-granularity target sampling) لبناء بيانات التدريب الأولي، مما يعزز العلاقة بين المشفّر (encoder) والمفكك (decoder). أظهرت نتائج التجارب أن ERNIE-GEN حقق أفضل النتائج الحالية بأقل كمية من بيانات التدريب الأولي والمعلمات في مجموعة متنوعة من مهام توليد اللغة، بما في ذلك الإيجاز الاستنتاجي (Gigaword و CNN/DailyMail)، وتوليد الأسئلة (SQuAD)، وتوليد الحوار (Persona-Chat)، وإجابات الأسئلة الاستنتاجية (CoQA).