التوحيد الصحيح يهمّ: فهم تأثير التوحيد على نماذج الشبكات العصبية العميقة لتوقع معدل النقر

أصبح التطبيع أحد المكونات الأساسية في العديد من الشبكات العصبية العميقة المستخدمة في مهام التعلم الآلي، بينما تم استخدام الشبكات العصبية العميقة على نطاق واسع في مجال تقييم احتمال النقر (CTR). ومع أن معظم النماذج المقترحة من الشبكات العصبية العميقة لا تستخدم تقنيات التطبيع، إلا أن بعض الدراسات مثل الشبكة العميقة والمتقاطعة (DCN) وآلة التحليل العصبي العاملة (NFM) تستخدم التطبيع الدُفعي (Batch Normalization) في الجزء الشبكي المتعدد الطبقات (MLP) من البنية. ومع ذلك، لا توجد دراسة شاملة تحلل تأثير التطبيع على أنظمة الترتيب القائمة على الشبكات العصبية العميقة (DNN). في هذه الورقة، نقوم بدراسة منهجية لتأثير السُّمات الشائعة للتطبيع من خلال تطبيق مختلف تقنيات التطبيع على كل من تضمين الميزات (feature embedding) والجزء الشبكي المتعدد الطبقات (MLP) في نموذج DNN. أجرينا تجارب واسعة على ثلاث مجموعات بيانات واقعية، وأظهرت النتائج التجريبية أن التطبيع الصحيح يعزز بشكل كبير أداء النموذج. كما نقترح في هذه الدراسة تقنية تطبيع جديدة وفعالة تعتمد على طبقة التطبيع (LayerNorm)، وتُسمى التطبيع الطبقي المبني فقط على التباين (Variance Only LayerNorm، VO-LN). وبناءً على الملاحظات السابقة، نقترح نموذجًا جديدًا للشبكة العصبية العميقة محسّنًا بالتطبيع، يُدعى NormDNN. وبالنسبة للسبب الذي يجعل التطبيع فعّالًا في نماذج DNN عند تقييم احتمال النقر، نجد أن التباين الناتج عن التطبيع يلعب الدور الرئيسي، ونقدّم تفسيرًا لهذا الظاهرة في هذه الورقة.