HyperAIHyperAI

Command Palette

Search for a command to run...

AntisymmetricRNN: رؤية أنظمة الديناميكية للشبكات العصبية المتكررة

Bo Chang Minmin Chen Eldad Haber Ed H. Chi

الملخص

الشبكات العصبية المتكررة اكتسبت استخدامًا واسع النطاق في نمذجة البيانات التسلسلية. ومع ذلك، لا يزال من الصعب تعلم الارتباطات طويلة المدى باستخدام هذه النماذج بسبب مشكلة الانفجار أو اختفاء التدرجات. في هذا البحث، نربط بين الشبكات العصبية المتكررة والمعادلات التفاضلية العادية. تحت هذا الإطار النظري، تم اقتراح شكل خاص من الشبكات العصبية المتكررة يُعرف بـ AntisymmetricRNN (الشبكة العصبية المتكررة المضادة للتماثل)، والتي تستطيع التقاط الارتباطات طويلة المدى بفضل خاصية الاستقرار للمعادلة التفاضلية الكامنة وراءها. غالبًا ما تتسبب الأساليب الحالية لتحسين قابلية تدريب RNN في زيادة كبيرة في العبء الحسابي. بالمقارنة مع ذلك، فإن AntisymmetricRNN تحقق نفس الهدف عن طريق التصميم. نوضح مزايا هذه الهندسة الجديدة من خلال محاكاة وتجارب واسعة النطاق. تظهر الشبكة العصبية المتكررة المضادة للتماثل ديناميكيات أكثر قابلية للتنبؤ. إنها تتفوق على نماذج LSTM التقليدية في المهام التي تتطلب ذاكرة طويلة الأمد وتتطابق مع أدائها في المهام حيث تسود الارتباطات قصيرة المدى رغم أنها أبسط بكثير.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp