HyperAIHyperAI

Command Palette

Search for a command to run...

نماذج الشبكات العصبية التكرارية القائمة على الانتباه للكشف المشترك عن النية وتعبئة الفتحات

Bing Liu Ian Lane

الملخص

قد أظهرت نماذج الشبكات العصبية ذات المُشغِّل التحويلي (encoder-decoder) القائمة على الانتباه (attention) مؤخرًا نتائج واعدة في ترجمة الآلة وتعرف الكلام. في هذا العمل، نقترح نموذج شبكة عصبية قائم على الانتباه للكشف المشترك عن النية (intent detection) وتعبئة الفتحات (slot filling)، وكلاهما خطوتان حاسمتان في العديد من أنظمة فهم الكلام والحوار. بخلاف ما هو عليه الحال في ترجمة الآلة وتعرف الكلام، فإن التناظر (alignment) صريح في تعبئة الفتحات. نستكشف استراتيجيات مختلفة لدمج هذه المعلومات التناظرية في إطار الشبكة العصبية ذات المُشغِّل التحويلي. مستوحين من آلية الانتباه في نموذج الشبكة العصبية ذات المُشغِّل التحويلي، نقترح أيضًا إدخال الانتباه إلى نماذج RNN القائمة على التناظر. يوفر مثل هذا الانتباه معلومات إضافية للتصنيف النوي وتنبوء علامات الفتحات. حققت نماذج المهام المستقلة لدينا أفضل معدل خطأ للكشف عن النية وأفضل درجة F1 لتعبئة الفتحات على مهمة ATIS القياسية. كما حقق نموذج التدريب المشترك لدينا انخفاضًا مطلقًا بنسبة 0.56٪ (انخفاضًا نسبيًا بنسبة 23.8٪) في معدل الخطأ للكشف عن النية وزيادة مطلقة بنسبة 0.23٪ في أداء تعبئة الفتحات مقارنة بنماذج المهام المستقلة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp