Command Palette
Search for a command to run...
الشبكات العصبية المتكررة ذات العلاقة
الشبكات العصبية المتكررة ذات العلاقة
Adam Santoro*α, Ryan Faulkner*α, David Raposo*α, Jack Raeαβ, Mike Chrzanowskiα, Théophane Weberα, Daan Wierstraα, Oriol Vinyalsα, Razvan Pascanuα, Timothy Lillicrapαβ
الملخص
تقوم الشبكات العصبية القائمة على الذاكرة بنمذجة البيانات الزمنية من خلال الاستفادة من قدرتها على تذكر المعلومات لفترات طويلة. ومع ذلك، فإن الأمر غير واضح فيما إذا كانت هذه الشبكات تمتلك أيضًا القدرة على إجراء استدلال علاقاتي معقد مع المعلومات التي تتذكرها. في هذا البحث، نؤكد أولاً حدسنا بأن الأطر الهيكلية للذاكرة التقليدية قد تواجه صعوبات في المهام التي تتطلب فهمًا عميقًا للطرق التي تربط فيها الكيانات -- أي المهام التي تنطوي على الاستدلال العلاقاتي. ثم نحسن هذه النقصان من خلال استخدام وحدة ذاكرة جديدة -- \textit{نواة الذاكرة العلاقاتية} (RMC) -- والتي تعتمد على انتباه متعدد الرؤوس باستخدام الضرب النقطي لتمكين التفاعلات بين الذكريات. وأخيرًا، نختبر RMC في مجموعة من المهام التي قد تستفيد من الاستدلال العلاقاتي الأكثر قدرة عبر المعلومات المتتابعة، ونظهر مكاسب كبيرة في مجالات التعلم التعزيزي (مثل Mini PacMan)، وتقييم البرامج، ونمذجة اللغة، حيث حققنا أفضل النتائج حتى الآن على مجموعات البيانات WikiText-103، Project Gutenberg، وGigaWord.