HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم متى يجب التركيز أو تحويل الانتباه: درجة حرارة الانتباه الذاتية التكيفية للترجمة الآلية العصبية

Junyang Lin; Xu Sun; Xuancheng Ren; Muyu Li; Qi Su

الملخص

معظم نماذج الترجمة الآلية العصبية (NMT) تعتمد على نموذج التسلسل إلى تسلسل (Seq2Seq) مع إطار مُشفِّر-مُفكِّك مجهز بآلية الانتباه. ومع ذلك، فإن الآلية التقليدية للانتباه تتعامل مع عملية فك الشفرة في كل خطوة زمنية بشكل متساوٍ باستخدام نفس المصفوفة، وهو ما يشكل مشكلة لأن درجة لين الانتباه يجب أن تختلف حسب أنواع الكلمات المختلفة (مثل كلمات المحتوى وكلمات الوظيفة). لذلك، نقترح نموذجًا جديدًا مع آلية تسمى التحكم الذاتي في درجة حرارة الانتباه (Self-Adaptive Control of Temperature - SACT) لتحكم في درجة لين الانتباه من خلال درجة حرارة الانتباه. أظهرت النتائج التجريبية في ترجمة الصينية-الإنجليزية والإنجليزية-الفيتنامية أن نموذجنا يتفوق على النماذج الأساسية، وأن التحليل ودراسة الحالة يدلان على قدرة نموذجنا على التركيز على العناصر الأكثر صلة في سياقات الجانب المصدر وإنتاج ترجمة عالية الجودة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تعلم متى يجب التركيز أو تحويل الانتباه: درجة حرارة الانتباه الذاتية التكيفية للترجمة الآلية العصبية | مستندات | HyperAI