التعلم المتسلسل إلى المتسلسل المُنظَّم بالانتباه لتحدي التوليد اللغوي الطبيعي من الطرف إلى الطرف

يصف هذا البحث النظام الذي استخدمناه في تحدي التوليد العصبي للغة الطبيعية (NLG) من الطرف إلى الطرف (E2E). يجمع التحدي مجموعة بيانات جديدة لنظام المحادثة الصوتية في مجال المطاعم، والتي تتميز بثراء لغوي أكبر وتباين نحوي أكبر، وتحتاج إلى اختيار المحتوى (نوفيكوفا وآخرون، 2017). ولحل هذا التحدي، نستخدم نموذج التعلم التسلسلي-إلى-التسلسلي المُعزّز بمحرك CAEncoder (تشانغ وآخرون، 2017)، ونقترح مُنظِّم انتباه لتوسيع وزن الانتباه عبر الكلمات المدخلة، وكذلك للتحكم في مشكلة التكيف الزائد (overfitting). وبلا أي تخصيص خاص، يُظهر نظامنا أداءً واعدًا جدًا. وبشكل خاص، حقق نظامنا نتيجة ROUGE-L قدرها 0.7083، وهي أفضل نتيجة بين جميع النظم الأساسية المقدمة.