دمج النموذج اللغوي المُدرَّب مسبقًا في الترجمة الآلية العصبية

أصبحت الترجمة الآلية العصبية (NMT) تقنيةً مهمةً في معالجة اللغة الطبيعية بفضل الأبحاث والتطوير المكثفة. ومع ذلك، لا يزال نقص البيانات ثنائية اللغة عالية الجودة يمثل تحديًا رئيسيًا في تحسين أداء الترجمة الآلية العصبية. وقد اتجهت الدراسات الحديثة إلى استكشاف استخدام المعلومات السياقية المستمدة من نماذج اللغة المُدرّبة مسبقًا (PLM) لمعالجة هذه المشكلة. ومع ذلك، ما زال هناك مشكلة عدم التوافق بين نماذج PLM ونماذج NMT دون حل. وتقترح هذه الدراسة نموذج الترجمة الآلية العصبية المُدمج مع نموذج PLM (PiNMT) للتغلب على المشكلات المحددة. يتكون نموذج PiNMT من ثلاث مكونات حاسمة: محول طبقات متعددة لـ PLM، ودمج التضمينات (Embedding Fusion)، والمحاذاة الجيبية (Cosine Alignment)، حيث تؤدي كل منها دورًا جوهريًا في إيصال معلومات PLM الفعالة إلى نموذج NMT. بالإضافة إلى ذلك، تم تقديم استراتيجيتين تدريسيتين: معدلات تعلم منفصلة (Separate Learning Rates) وتدريب خطوات مزدوجة (Dual Step Training). وباستخدام النموذج المقترح واستراتيجية التدريب، تم تحقيق أداءً متقدمًا على مستوى الحد الأقصى (state-of-the-art) على مجموعة بيانات IWSLT'14 En↔De. تُعد نتائج هذه الدراسة ذات أهمية كبيرة، إذ تُظهر منهجًا جديدًا لدمج PLM مع NMT بكفاءة، مما يتجاوز مشكلة عدم التوافق ويعزز الأداء بشكل ملحوظ.