الشبكات العصبية المتكررة ذات العلاقة

تقوم الشبكات العصبية القائمة على الذاكرة بنمذجة البيانات الزمنية من خلال الاستفادة من قدرتها على تذكر المعلومات لفترات طويلة. ومع ذلك، فإن الأمر غير واضح فيما إذا كانت هذه الشبكات تمتلك أيضًا القدرة على إجراء استدلال علاقاتي معقد مع المعلومات التي تتذكرها. في هذا البحث، نؤكد أولاً حدسنا بأن الأطر الهيكلية للذاكرة التقليدية قد تواجه صعوبات في المهام التي تتطلب فهمًا عميقًا للطرق التي تربط فيها الكيانات -- أي المهام التي تنطوي على الاستدلال العلاقاتي. ثم نحسن هذه النقصان من خلال استخدام وحدة ذاكرة جديدة -- \textit{نواة الذاكرة العلاقاتية} (RMC) -- والتي تعتمد على انتباه متعدد الرؤوس باستخدام الضرب النقطي لتمكين التفاعلات بين الذكريات. وأخيرًا، نختبر RMC في مجموعة من المهام التي قد تستفيد من الاستدلال العلاقاتي الأكثر قدرة عبر المعلومات المتتابعة، ونظهر مكاسب كبيرة في مجالات التعلم التعزيزي (مثل Mini PacMan)، وتقييم البرامج، ونمذجة اللغة، حيث حققنا أفضل النتائج حتى الآن على مجموعات البيانات WikiText-103، Project Gutenberg، وGigaWord.