HyperAIHyperAI

Command Palette

Search for a command to run...

الشبكات العصبية المتكررة ذات العلاقة

Adam Santoro*α, Ryan Faulkner*α, David Raposo*α, Jack Raeαβ, Mike Chrzanowskiα, Théophane Weberα, Daan Wierstraα, Oriol Vinyalsα, Razvan Pascanuα, Timothy Lillicrapαβ

الملخص

تقوم الشبكات العصبية القائمة على الذاكرة بنمذجة البيانات الزمنية من خلال الاستفادة من قدرتها على تذكر المعلومات لفترات طويلة. ومع ذلك، فإن الأمر غير واضح فيما إذا كانت هذه الشبكات تمتلك أيضًا القدرة على إجراء استدلال علاقاتي معقد مع المعلومات التي تتذكرها. في هذا البحث، نؤكد أولاً حدسنا بأن الأطر الهيكلية للذاكرة التقليدية قد تواجه صعوبات في المهام التي تتطلب فهمًا عميقًا للطرق التي تربط فيها الكيانات -- أي المهام التي تنطوي على الاستدلال العلاقاتي. ثم نحسن هذه النقصان من خلال استخدام وحدة ذاكرة جديدة -- \textit{نواة الذاكرة العلاقاتية} (RMC) -- والتي تعتمد على انتباه متعدد الرؤوس باستخدام الضرب النقطي لتمكين التفاعلات بين الذكريات. وأخيرًا، نختبر RMC في مجموعة من المهام التي قد تستفيد من الاستدلال العلاقاتي الأكثر قدرة عبر المعلومات المتتابعة، ونظهر مكاسب كبيرة في مجالات التعلم التعزيزي (مثل Mini PacMan)، وتقييم البرامج، ونمذجة اللغة، حيث حققنا أفضل النتائج حتى الآن على مجموعات البيانات WikiText-103، Project Gutenberg، وGigaWord.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الشبكات العصبية المتكررة ذات العلاقة | مستندات | HyperAI