خسائر التنبؤ الهيكلي الكلاسيكية لتعلم التتابيع إلى تتابيع

لقد شهدت الفترة الأخيرة الكثير من الأعمال التي تتعلق بتدريب نماذج الانتباه العصبي على مستوى التسلسل باستخدام طرق تعتمد إما على التعلم التعزيزي أو على تحسين الشعاع. في هذا البحث، نستعرض مجموعة من الدوال الهدف الكلاسيكية التي تم استخدامها بشكل واسع لتدريب النماذج الخطية للتنبؤ المهيكل، ونطبقها على النماذج العصبية للتسلسل إلى التسلسل. تظهر تجاربنا أن هذه الخسائر يمكن أن تؤدي بشكل مفاجئ جيد، حيث تتفوق قليلاً على تحسين البحث بالشعاع في إطار مماثل. كما نقدم أيضًا نتائج جديدة رائدة في كل من مهمة الترجمة الألمانية-الإنجليزية لمؤتمر IWSLT'14 وفي ملخصات Gigaword الاستخراجية. بالنسبة لمهمة الترجمة الإنجليزية-الفرنسية الأكبر حجمًا لمؤتمر WMT'14، يحقق التدريب على مستوى التسلسل درجة 41.5 BLEU وهي متساوية مع أفضل المستويات الحالية.في هذا النص:- "IWSLT" هو اختصار لـ "International Workshop on Spoken Language Translation".- "WMT" هو اختصار لـ "Workshop on Machine Translation".- "BLEU" هو اختصار لـ "Bilingual Evaluation Understudy".