HyperAIHyperAI

Command Palette

Search for a command to run...

دمج النموذج اللغوي المُدرَّب مسبقًا في الترجمة الآلية العصبية

Soon-Jae Hwang Chang-Sung Jeong

الملخص

أصبحت الترجمة الآلية العصبية (NMT) تقنيةً مهمةً في معالجة اللغة الطبيعية بفضل الأبحاث والتطوير المكثفة. ومع ذلك، لا يزال نقص البيانات ثنائية اللغة عالية الجودة يمثل تحديًا رئيسيًا في تحسين أداء الترجمة الآلية العصبية. وقد اتجهت الدراسات الحديثة إلى استكشاف استخدام المعلومات السياقية المستمدة من نماذج اللغة المُدرّبة مسبقًا (PLM) لمعالجة هذه المشكلة. ومع ذلك، ما زال هناك مشكلة عدم التوافق بين نماذج PLM ونماذج NMT دون حل. وتقترح هذه الدراسة نموذج الترجمة الآلية العصبية المُدمج مع نموذج PLM (PiNMT) للتغلب على المشكلات المحددة. يتكون نموذج PiNMT من ثلاث مكونات حاسمة: محول طبقات متعددة لـ PLM، ودمج التضمينات (Embedding Fusion)، والمحاذاة الجيبية (Cosine Alignment)، حيث تؤدي كل منها دورًا جوهريًا في إيصال معلومات PLM الفعالة إلى نموذج NMT. بالإضافة إلى ذلك، تم تقديم استراتيجيتين تدريسيتين: معدلات تعلم منفصلة (Separate Learning Rates) وتدريب خطوات مزدوجة (Dual Step Training). وباستخدام النموذج المقترح واستراتيجية التدريب، تم تحقيق أداءً متقدمًا على مستوى الحد الأقصى (state-of-the-art) على مجموعة بيانات IWSLT'14 En↔De. تُعد نتائج هذه الدراسة ذات أهمية كبيرة، إذ تُظهر منهجًا جديدًا لدمج PLM مع NMT بكفاءة، مما يتجاوز مشكلة عدم التوافق ويعزز الأداء بشكل ملحوظ.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
دمج النموذج اللغوي المُدرَّب مسبقًا في الترجمة الآلية العصبية | مستندات | HyperAI