المحولات العميقة جدًا للترجمة الآلية العصبية

نستعرض تطبيق نماذج تحويلية عميقة جدًا في الترجمة الآلية العصبية (NMT). وباستخدام تقنية تهيئة بسيطة ولكن فعّالة تُعزز استقرار التدريب، نُظهر إمكانية بناء نماذج قياسية تعتمد على التحويل (Transformer) تحتوي على ما يصل إلى 60 طبقة مشفرة (encoder) و12 طبقة فك تشفير (decoder). وتتفوّق هذه النماذج العميقة على نماذج الأساس التي تحتوي على 6 طبقات بنسبة تصل إلى 2.5 نقطة في معيار BLEU، وتحقق نتائج قياسية جديدة على معايير WMT14 للغة الإنجليزية إلى الفرنسية (43.8 و46.4 نقطة BLEU باستخدام تقنية الترجمة العكسية) وللغة الإنجليزية إلى الألمانية (30.1 نقطة BLEU). ستكون الشيفرة البرمجية والنماذج المدربة متاحة للجمهور عبر الرابط التالي: https://github.com/namisan/exdeep-nmt.