HyperAIHyperAI

Command Palette

Search for a command to run...

الانتباه الذاتي مع تمثيلات المواقع النسبية

Peter Shaw Jakob Uszkoreit Ashish Vaswani

الملخص

يعتمد كليًا على آلية الانتباه (الآتنتشن)، حقق النموذج التحويلي (Transformer) الذي قدمه فاسوانى وآخرون (2017) نتائجًا رائدة في مجال ترجمة الآلة. بخلاف الشبكات العصبية المتكررة والشبكات العصبية المُعَلَّمة بالتشويش، لا يُنَمِّذ هذا النموذج معلومات الموقع النسبي أو المطلق ضمن هيكله بشكل صريح. بدلاً من ذلك، يتطلب إضافة تمثيلات للمواقع المطلقة إلى مدخلاته. في هذه الدراسة، نقدم نهجًا بديلًا، حيث نوسع آليات الانتباه الذاتي لاعتبار تمثيلات المواقع النسبية أو المسافات بين عناصر التسلسل بكفاءة. على مهام الترجمة من الإنجليزية إلى الألمانية والإنجليزية إلى الفرنسية في تحدي WMT 2014، يُؤدي هذا النهج إلى تحسينات بمقدار 1.3 نقطة BLEU و0.3 نقطة BLEU على التوالي مقارنة بتمثيلات المواقع المطلقة. من الجدير بالذكر أننا لاحظنا أن الجمع بين تمثيلات المواقع النسبية والمطلقة لم يحقق أي تحسن إضافي في جودة الترجمة. نصف طريقة تنفيذنا بكفاءة ونعتبرها حالة من آليات الانتباه الذاتي الواعية للعلاقات التي يمكن تعميمها على مدخلات مُعلَّمة بالمخططات بشكل تعسفي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الانتباه الذاتي مع تمثيلات المواقع النسبية | مستندات | HyperAI