HyperAIHyperAI

Command Palette

Search for a command to run...

الانتباه الذاتي المشترك للمصدر والهدف مع قيود الجوار

José A. R. Fonollosa; Noe Casas; Marta R. Costa-jussà

الملخص

النماذج الرئيسية للترجمة الآلية العصبية تعتمد على هيكل المُشفر-المُفكك (encoder-decoder)، وتعتمد العديد منها على حقل استقبالي غير مقيد على التسلسلات المصدر والهدف. في هذا البحث، ندرس هندسة جديدة تكسر كلا التقليدين. يتكون هيكلنا المبسط من جزء المُفكك من نموذج الترانسفورمر (transformer) القائم على الانتباه الذاتي (self-attention)، ولكن مع قيود محلية مطبقة على حقل الاستقبال الانتباهي. كمدخل للتدريب، يتم تقديم كل من الجمل المصدر والهدف إلى الشبكة، والتي يتم تدريبها كنموذج لغوي. في وقت الاستدلال، يتم التنبؤ بالرموز الهدف بشكل ذاتي الانحدار بدءًا من تسلسل المصدر كرموز سابقة. يحقق النموذج المقترح مستوى جديدًا من الفن الرفيع بمقدار 35.7 BLEU على معيار الترجمة الألماني-الإنجليزي IWSLT'14 ويتوافق مع أفضل النتائج المبلغ عنها في الأدب العلمي على معايير الترجمة الإنجليزي-الألماني WMT'14 والإنجليزي-الفرنسي WMT'14.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp