كيفية استخدام التقطيع (Dropout) بشكل صحيح في الشبكات المتبقية مع التطبيع الدفعي

لتحقيق الاستقرار في عملية تحسين الشبكات العصبية العميقة، تم استخدام طرق الت régularization مثل Dropout وBatch Normalization في مهام مختلفة. ومع ذلك، فإن الموضع الصحيح لتطبيق Dropout لم يُناقش بشكل كافٍ، وقد تم استخدام مواقع مختلفة اعتمادًا على ممارسي العمل. في هذه الدراسة، نستعرض الموضع الصحيح لتطبيق Dropout. ونُظهر أن الشبكة المُستخدمة في التصميم المتبقي (Residual Network) مع Batch Normalization، فإن تطبيق Dropout في مواقع معينة يُحسن الأداء، بينما يؤدي تطبيقه في مواقع أخرى إلى تقليل الأداء. استنادًا إلى تحليل نظري، نقدم التوجيه التالي للموضع الصحيح لتطبيق Dropout: تطبيق Dropout واحدة بعد آخر عملية Batch Normalization، ولكن قبل الطبقة الوزنية الأخيرة في الفرع المتبقي (residual branch). ونقدم تفسيرات نظرية مفصلة تدعم هذا الادعاء، ونُثبتها من خلال اختبارات وحدات (module tests). بالإضافة إلى ذلك، نستعرض الموضع الصحيح لتطبيق Dropout في الجزء (head) المسؤول عن إنتاج التنبؤ النهائي. وعلى الرغم من أن التوجه السائد حاليًا هو تطبيق Dropout بعد عملية التجميع المتوسط العالمي (Global Average Pooling)، فإننا نُثبت أن تطبيق Dropout قبل عملية التجميع المتوسط العالمي يؤدي إلى نتيجة أكثر استقرارًا. وقد تم التحقق من صحة التوجيهات المقترحة من خلال تجارب أُجريت باستخدام مجموعات بيانات وموديلات مختلفة.