MEMEN: تضمين متعدد الطبقات مع شبكات الذاكرة لفهم الآلة

الأسئلة والإجابات بنمط فهم الآلة (MC) هي مشكلة نموذجية في معالجة اللغة الطبيعية. النهج السابقة نادراً ما تركز على تحسين طبقة الترميز، خاصة فيما يتعلق بدمج المعلومات النحوية وكيانات الأسماء للكلمات، والتي تعتبر حاسمة لجودة الترميز. علاوة على ذلك، فإن الطرق الحالية للانتباه تمثل كل كلمة في الاستفسار كمتجه أو تستخدم متجهاً واحداً لتمثيل الجملة الاستفهامية بأكملها، ولا يمكن لأي منهما التعامل مع الوزن المناسب لكلمات المفتاح في الجملة الاستفهامية. في هذا البحث، نقدم هندسة عصبية جديدة تُعرف بـ "الترميز متعدد الطبقات مع شبكة الذاكرة" (MEMEN) للمهمة القرائية الآلية. في طبقة الترميز، نستخدم نموذج skip-gram الكلاسيكي للمعلومات النحوية والدلالية للكلمات لتدريب نوع جديد من طبقة التضمين. كما اقترحنا شبكة ذاكرة لمطابقة شاملة بين الاستفسار والنص لتتبع المزيد من المعلومات المحورية. أظهرت التجارب أن نموذجنا حقق نتائج تنافسية من حيث الدقة والكفاءة في مجموعة بيانات الأسئلة والأجوبة ستانفورد (SQuAD) مقارنة بكل النتائج المنشورة، وحقق أفضل النتائج حتى الآن على مجموعة بيانات TriviaQA.