HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم الاعتمادية طويلة المدى في شبكات RNN باستخدام الخسائر المساعدة

Trieu H. Trinh; Andrew M. Dai; Minh-Thang Luong; Quoc V. Le

الملخص

رغم التقدم الحديث في تدريب الشبكات العصبية المتكررة (RNNs)، فإن التقاط الارتباطات طويلة المدى في التسلسلات يظل تحديًا أساسيًا. تعتمد معظم الأساليب على التراجع الخلفي عبر الزمن (BPTT)، وهو صعب التطبيق على التسلسلات جد الطويلة. تقترح هذه الورقة بحثية طريقة بسيطة تحسن قدرة التقاط الارتباطات طويلة المدى في الشبكات العصبية المتكررة من خلال إضافة خسارة مساعدة غير مراقبة إلى الهدف الأصلي. تقوم هذه الخسارة المساعدة بإجبار الشبكات العصبية المتكررة على إعادة بناء الأحداث السابقة أو التنبؤ بالأحداث القادمة في تسلسل، مما يجعل التراجع الخلفي المبتور ممكنًا للتسلسلات الطويلة ويعزز أيضًا BPTT الكامل. نقيم طريقتنا في مجموعة متنوعة من الإعدادات، بما في ذلك تصنيف الصور بكامل دقتها مع أطوال تسلسل تصل إلى 16,000، وتصنيف المستندات الحقيقي. تؤكد نتائجنا الأداء الجيد وكفاءة استخدام الموارد لهذه الطريقة مقارنة بالأساسيات التنافسية، بما في ذلك نماذج متكررة أخرى ونموذج Transformer بحجم مشابه. كشفت التحليلات الإضافية عن آثار مفيدة للخسارة المساعدة على الأمثلة والتنظيم، بالإضافة إلى الحالات القصوى حيث يكون هناك القليل جدًا أو لا يوجد تراجع خلفي على الإطلاق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp