الانسحاب الأخوي

الشبكات العصبية المتكررة (RNNs) هي فئة مهمة من الأطر المعمارية ضمن الشبكات العصبية، وهي مفيدة في نمذجة اللغة والتوقع التتابعي. ومع ذلك، فإن تحسين أداء الشبكات العصبية المتكررة معروف بأنه أكثر صعوبة مقارنة بالشبكات العصبية ذات التغذية الأمامية. تم اقتراح العديد من التقنيات في الأدبيات لمعالجة هذه المشكلة. في هذا البحث، نقترح تقنية بسيطة تسمى الإسقاط الأخوي (fraternal dropout) التي تستفيد من الإسقاط لتحقيق هذا الهدف. بشكل خاص، نقترح تدريب نسختين متطابقتين من RNN (تشتركان في المعلمات) باستخدام أقنعة إسقاط مختلفة أثناء تقليل الفرق بين توقعاتهما (قبل دالة softmax). بهذه الطريقة، تشجع تقنيتنا للتنظيم على أن تكون تمثيلات RNN ثابتة بالنسبة للأقنعة المختلفة للإسقاط، وبالتالي تكون مقاومة. نظهر أن حدودنا العليا للحد من التنظيم يتم تحديدها بواسطة الهدف الخطي المتوقع للإسقاط، والذي أثبت أنه يعالج الفجوة الناجمة عن الاختلاف بين مراحل التدريب والاستدلال في الإسقاط. قمنا بتقييم نموذجنا وحققنا أفضل النتائج في مهام نمذجة التسلسل على مجموعة بيانات Penn Treebank وWiktext-2. كما أظهرنا أن APPROACHنا يؤدي إلى تحسن كبير في الأداء في مهام الوصف الصوري للصور (Microsoft COCO) والمهام شبه المشرف عليها (CIFAR-10).请注意，最后一句中的"APPROACHنا"在原文中并没有对应的词语，这里应该是“我们的方法”（طريقتنا）的误译。以下是修正后的版本：نظهر أيضًا أن طريقتنا تقود إلى تحسين كبير في الأداء بمقدار هامشي في مهام الوصف الصوري للصور (Microsoft COCO) والمهام شبه المشرف عليها (CIFAR-10).