إدماج BERT في الترجمة الآلية العصبية

أظهر النموذج المُقترح حديثًا BERT قوة كبيرة في مجموعة متنوعة من مهام فهم اللغة الطبيعية، مثل تصنيف النصوص وفهم القراءة، إلخ. ومع ذلك، لا يزال هناك نقص في الاستكشاف الفعّال لتطبيق BERT على الترجمة الآلية العصبية (NMT). في حين يُستخدم BERT بشكل شائع في التخصيص (fine-tuning) بدلًا من كونه تمثيلًا سياقيًا (contextual embedding) للمهام اللاحقة لفهم اللغة، فإن استكشافنا الأولي لاستخدام BERT كتمثيل سياقي في الترجمة الآلية أظهر أداءً أفضل مقارنةً باستخدامه في التخصيص. وهذا يحفّزنا على التفكير في كيفية استغلال BERT بشكل أفضل في NMT ضمن هذا المسار. نقترح خوارزمية جديدة تُسمى نموذج BERT-المدمج (BERT-fused model)، حيث نستخدم أولًا BERT لاستخراج التمثيلات من التسلسل المدخل، ثم نُدمج هذه التمثيلات مع كل طبقة من طبقات المُشفّر (encoder) والموّسع (decoder) في نموذج الترجمة الآلية العصبية من خلال آليات الانتباه (attention mechanisms). أجرينا تجارب على ترجمة مراقبة (شاملة للجملة والمستندات)، وترجمة شبه مراقبة، وترجمة غير مراقبة، وحققنا نتائج من الطراز الرائد (state-of-the-art) على سبعة مجموعات بيانات معيارية. يمكن الاطلاع على الكود الخاص بنا عبر الرابط: \url{https://github.com/bert-nmt/bert-nmt}.