نماذج الشبكات العصبية التكرارية القائمة على الانتباه للكشف المشترك عن النية وتعبئة الفتحات

قد أظهرت نماذج الشبكات العصبية ذات المُشغِّل التحويلي (encoder-decoder) القائمة على الانتباه (attention) مؤخرًا نتائج واعدة في ترجمة الآلة وتعرف الكلام. في هذا العمل، نقترح نموذج شبكة عصبية قائم على الانتباه للكشف المشترك عن النية (intent detection) وتعبئة الفتحات (slot filling)، وكلاهما خطوتان حاسمتان في العديد من أنظمة فهم الكلام والحوار. بخلاف ما هو عليه الحال في ترجمة الآلة وتعرف الكلام، فإن التناظر (alignment) صريح في تعبئة الفتحات. نستكشف استراتيجيات مختلفة لدمج هذه المعلومات التناظرية في إطار الشبكة العصبية ذات المُشغِّل التحويلي. مستوحين من آلية الانتباه في نموذج الشبكة العصبية ذات المُشغِّل التحويلي، نقترح أيضًا إدخال الانتباه إلى نماذج RNN القائمة على التناظر. يوفر مثل هذا الانتباه معلومات إضافية للتصنيف النوي وتنبوء علامات الفتحات. حققت نماذج المهام المستقلة لدينا أفضل معدل خطأ للكشف عن النية وأفضل درجة F1 لتعبئة الفتحات على مهمة ATIS القياسية. كما حقق نموذج التدريب المشترك لدينا انخفاضًا مطلقًا بنسبة 0.56٪ (انخفاضًا نسبيًا بنسبة 23.8٪) في معدل الخطأ للكشف عن النية وزيادة مطلقة بنسبة 0.23٪ في أداء تعبئة الفتحات مقارنة بنماذج المهام المستقلة.