تعلم التسلسل إلى التسلسل كتحسين بحث الشعاع

النموذج Sequence-to-Sequence (seq2seq) أصبح بسرعة أداة مهمة ذات غرض عام في معالجة اللغة الطبيعية (NLP)، وقد أثبت فعاليته في العديد من مهام إنشاء النص وتسمية التسلسلات. يعتمد النموذج seq2seq على نمذجة اللغة العصبية العميقة ويورث دقتها الملفتة في تقدير توزيعات الكلمات التالية محليًا. في هذا العمل، نقدم نموذجًا ونظام تدريب بالبحث الشعاعي (beam search) مستندًا إلى أعمال داوم III وماركو (2005)، والذي يوسع نطاق seq2seq لتعلم درجات التسلسل العالمية. يتجنب هذا النهج الهيكلي التحيزات الكلاسيكية المرتبطة بالتدريب المحلي ويوحّد خسارة التدريب مع استخدام الاختبار، مع الحفاظ على هندسة النموذج المعروفة للـ seq2seq ونهجه الفعال في التدريب. نوضح أن نظامنا يتفوق على نظام seq2seq القائم على الانتباه والمعتمد على تحسين عالي، وعلى غيره من النقاط المرجعية في ثلاث مهام مختلفة للتسلسل إلى تسلسل: إعادة ترتيب الكلمات، التحليل النحوي، والترجمة الآلية.