حول أهمية طبقات التطبيع في التعلم العميق مع وحدات التنشيط الخطية القطعية

الشبكات العصبية الأمامية العميقة ذات التنشيطات الخطية القطعية تحقق حاليًا أفضل النتائج في عدة قواعد بيانات عامة. يسمح الجمع بين نماذج التعلم العميق والدوال التنشيطية الخطية القطعية بتقدير الدوال المعقدة بشكل أسي باستخدام عدد كبير من الشبكات الفرعية المتخصصة في تصنيف أمثلة الإدخال المشابهة. خلال عملية التدريب، تتجنب هذه الشبكات الفرعية الـ "overfitting" من خلال مخطط تنظيم ضمني يستند إلى حقيقة أنها يجب أن تشترك في معلماتها مع شبكات فرعية أخرى. باستخدام هذا الإطار، قمنا بإجراء ملاحظة تجريبية يمكن أن تحسن الأداء حتى أكثر لهذه النماذج. لاحظنا أن هذه النماذج تعتمد على افتراض توزيع متوازن للمؤشرات الأولية للبيانات بالنسبة لمجال الدالة التنشيطية الخطية القطعية. إذا تم خرق هذا الافتراض، فقد تنحل وحدات التنشيط الخطية القطعية إلى وحدات تنشيط خطية محضة، مما قد يؤدي إلى انخفاض كبير في قدرتها على تعلم الدوال المعقدة. بالإضافة إلى ذلك، كلما زاد عدد طبقات النموذج، جعل هذا التوزيع غير المتوازن النموذج غير مستقر. لذلك، نقترح إدخال وحدات التنميط بالدفعة (batch normalisation) إلى الشبكات العصبية الأمامية العميقة ذات التنشيطات الخطية القطعية، والتي تقود إلى استخدام أكثر توازنًا لهذه الوحدات التنشيطية، حيث يتم تدريب كل منطقة من مناطق الدالة التنشيطية بنسب كبيرة نسبيًا من عينات التدريب. كما أن هذا التنميط بالدفعة يعزز استقرارية نماذج التعلم العميقة جدًا. نظهر أنه بإدخال وحدات maxout والتنميط بالدفعة إلى نموذج network in network، فإن ذلك يؤدي إلى نموذج ينتج نتائج تصنيف أفضل أو مقاربة لأفضل ما هو موجود حاليًا في قواعد البيانات CIFAR-10 وCIFAR-100 وMNIST وSVHN.