HyperAIHyperAI

Command Palette

Search for a command to run...

الانسحاب الأخوي

Konrad Żolna Devansh Arpit Dendi Suhubdy Yoshua Bengio

الملخص

الشبكات العصبية المتكررة (RNNs) هي فئة مهمة من الأطر المعمارية ضمن الشبكات العصبية، وهي مفيدة في نمذجة اللغة والتوقع التتابعي. ومع ذلك، فإن تحسين أداء الشبكات العصبية المتكررة معروف بأنه أكثر صعوبة مقارنة بالشبكات العصبية ذات التغذية الأمامية. تم اقتراح العديد من التقنيات في الأدبيات لمعالجة هذه المشكلة. في هذا البحث، نقترح تقنية بسيطة تسمى الإسقاط الأخوي (fraternal dropout) التي تستفيد من الإسقاط لتحقيق هذا الهدف. بشكل خاص، نقترح تدريب نسختين متطابقتين من RNN (تشتركان في المعلمات) باستخدام أقنعة إسقاط مختلفة أثناء تقليل الفرق بين توقعاتهما (قبل دالة softmax). بهذه الطريقة، تشجع تقنيتنا للتنظيم على أن تكون تمثيلات RNN ثابتة بالنسبة للأقنعة المختلفة للإسقاط، وبالتالي تكون مقاومة. نظهر أن حدودنا العليا للحد من التنظيم يتم تحديدها بواسطة الهدف الخطي المتوقع للإسقاط، والذي أثبت أنه يعالج الفجوة الناجمة عن الاختلاف بين مراحل التدريب والاستدلال في الإسقاط. قمنا بتقييم نموذجنا وحققنا أفضل النتائج في مهام نمذجة التسلسل على مجموعة بيانات Penn Treebank وWiktext-2. كما أظهرنا أن APPROACHنا يؤدي إلى تحسن كبير في الأداء في مهام الوصف الصوري للصور (Microsoft COCO) والمهام شبه المشرف عليها (CIFAR-10).请注意,最后一句中的"APPROACHنا"在原文中并没有对应的词语,这里应该是“我们的方法”(طريقتنا)的误译。以下是修正后的版本:نظهر أيضًا أن طريقتنا تقود إلى تحسين كبير في الأداء بمقدار هامشي في مهام الوصف الصوري للصور (Microsoft COCO) والمهام شبه المشرف عليها (CIFAR-10).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الانسحاب الأخوي | مستندات | HyperAI