HyperAIHyperAI

Command Palette

Search for a command to run...

الذاكرة قصيرة المدى طويلة مع اتصالات تخطي ديناميكية

Tao Gui; Qi Zhang; Lujun Zhao; Yaosong Lin; Minlong Peng; Jingjing Gong; Xuanjing Huang

الملخص

في السنوات الأخيرة، تم استخدام الذاكرة طويلة المدى قصيرة الأجل (LSTM) بنجاح لنمذجة البيانات التسلسلية ذات الطول المتغير. ومع ذلك، لا تزال LSTM تواجه صعوبة في التقاط الارتباطات طويلة المدى. في هذا العمل، حاولنا تخفيف هذه المشكلة من خلال إدخال اتصال تخطي ديناميكي يمكنه التعلم للربط مباشرة بين كلمتين مرتبطتين. نظرًا لعدم وجود معلومات حول الارتباط في بيانات التدريب، نقترح طريقة جديدة تعتمد على التعلم التعزيزي لنمذجة العلاقة الارتباطية وربط الكلمات المرتبطة. يقوم النموذج المقترح بحساب وظائف الانتقال المتكررة استنادًا إلى اتصالات التخطي، مما يوفر ميزة تخطي ديناميكية على الشبكات العصبية المتكررة (RNN) التي تعالج دائمًا الجمل بأكملها بشكل متسلسل. أظهرت نتائج التجارب لدينا على ثلاث مهام معالجة اللغة الطبيعية أن الطريقة المقترحة يمكن أن تحقق أداءً أفضل من الأساليب الموجودة. في تجربة التنبؤ بالأرقام، فاق النموذج المقترح LSTM بنسبة دقة بلغت حوالي 20٪.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp