MASS: التدريب المسبق للسلاسل المقنعة لإنشاء اللغة

التدريب المسبق والتحسين الدقيق، مثل BERT، حقق نجاحًا كبيرًا في فهم اللغة من خلال نقل المعرفة من مهام التدريب المسبق ذات الموارد الغنية إلى مهام التدريب اللاحقة ذات الموارد المنخفضة أو الصفرية. مستوحىً من نجاح BERT، نقترح تدريب التتابع المقنّع (MASS) لمهام إنشاء اللغة المستندة إلى مُشفِّر-مُفكِّك. يستخدم MASS إطار العمل مُشفِّر-مُفكِّك لإعادة بناء جزء من الجملة معطى الجزء المتبقي منها: حيث يأخذ مُشفِّره جملة تحتوي على جزء مقنَّع عشوائيًا (بضعة رموز متتالية) كمدخل، ويحاول مُفكِّكه التنبؤ بهذا الجزء المقنَّع. بهذه الطريقة، يمكن لـ MASS أن يتدرب بشكل مشترك على المُشفِّر والمُفكِّك ليطور قدرتهما على استخراج التمثيلات ونمذجة اللغة. من خلال الإجراءات الإضافية للتحسين الدقيق على مجموعة متنوعة من مهام إنشاء اللغة ذات الموارد المنخفضة أو الصفرية، بما في ذلك الترجمة الآلية العصبية، وإيجاز النصوص، وإنشاء الردود الحوارية (3 مهام و8 قواعد بيانات بالمجمل)، حقق MASS تحسينات كبيرة على القواعد الأساسية دون تدريب مسبق أو باستخدام طرق تدريب مسبقة أخرى. خاصًة، حققنا دقةً غير مسبوقة (37.5 بحسب درجة BLEU) في الترجمة غير الخاضعة للإشراف بين الإنجليزية والفرنسية، حتى تفوقنا على النماذج الخاضعة للإشراف الأولى التي تعتمد على الانتباه.