FusionNet: دمج عبر الانتباه الكامل مع تطبيقه على فهم الآلة

يقدم هذا البحث بنية عصبية جديدة تُسمى FusionNet، والتي تمتد من خلال تحسين نماذج الانتباه الحالية من ثلاث زوايا. أولاً، يقترح مفهومًا جديدًا يُعرف بـ "تاريخ الكلمة" لوصف معلومات الانتباه بدءًا من مستوى التضمين الأدنى لكلمة وصولاً إلى التمثيل الدلالي الأعلى. ثانيًا، يُدخل دالة تقييم انتباه محسنة تستفيد بشكل أفضل من مفهوم "تاريخ الكلمة". ثالثًا، يقترح آلية انتباه متعددة المستويات على درجة الوعي الكامل لالتقاط المعلومات الكاملة في نص واحد (مثل السؤال) واستخدامها في النص المقابل (مثل السياق أو الفقرة) طبقة بطبقة.تم تطبيق FusionNet على مجموعة بيانات أسئلة ستانفورد (SQuAD)، وحققت المركز الأول لكل من النموذج الفردي والنموذج المجمع في قائمة SQuAD الرسمية وقت كتابة هذا البحث (4 أكتوبر 2017). وفي الوقت نفسه، تم التحقق من قابلية تعميم FusionNet باستخدام مجموعتين معاديتين من SQuAD، حيث حققت أفضل النتائج الجديدة في كلتا المجموعتين: في AddSent، رفع FusionNet أفضل مؤشر F1 من 46.6٪ إلى 51.4٪؛ وفي AddOneSent، رفع FusionNet أفضل مؤشر F1 من 56.0٪ إلى 60.7٪.