HyperAIHyperAI

Command Palette

Search for a command to run...

كيفية استخدام التقطيع (Dropout) بشكل صحيح في الشبكات المتبقية مع التطبيع الدفعي

Bum Jun Kim Hyeyeon Choi Hyeonah Jang Donggeon Lee Sang Woo Kim

الملخص

لتحقيق الاستقرار في عملية تحسين الشبكات العصبية العميقة، تم استخدام طرق الت régularization مثل Dropout وBatch Normalization في مهام مختلفة. ومع ذلك، فإن الموضع الصحيح لتطبيق Dropout لم يُناقش بشكل كافٍ، وقد تم استخدام مواقع مختلفة اعتمادًا على ممارسي العمل. في هذه الدراسة، نستعرض الموضع الصحيح لتطبيق Dropout. ونُظهر أن الشبكة المُستخدمة في التصميم المتبقي (Residual Network) مع Batch Normalization، فإن تطبيق Dropout في مواقع معينة يُحسن الأداء، بينما يؤدي تطبيقه في مواقع أخرى إلى تقليل الأداء. استنادًا إلى تحليل نظري، نقدم التوجيه التالي للموضع الصحيح لتطبيق Dropout: تطبيق Dropout واحدة بعد آخر عملية Batch Normalization، ولكن قبل الطبقة الوزنية الأخيرة في الفرع المتبقي (residual branch). ونقدم تفسيرات نظرية مفصلة تدعم هذا الادعاء، ونُثبتها من خلال اختبارات وحدات (module tests). بالإضافة إلى ذلك، نستعرض الموضع الصحيح لتطبيق Dropout في الجزء (head) المسؤول عن إنتاج التنبؤ النهائي. وعلى الرغم من أن التوجه السائد حاليًا هو تطبيق Dropout بعد عملية التجميع المتوسط العالمي (Global Average Pooling)، فإننا نُثبت أن تطبيق Dropout قبل عملية التجميع المتوسط العالمي يؤدي إلى نتيجة أكثر استقرارًا. وقد تم التحقق من صحة التوجيهات المقترحة من خلال تجارب أُجريت باستخدام مجموعات بيانات وموديلات مختلفة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp