HyperAIHyperAI

Command Palette

Search for a command to run...

التوحيد الصحيح يهمّ: فهم تأثير التوحيد على نماذج الشبكات العصبية العميقة لتوقع معدل النقر

Zhiqiang Wang Qingyun She PengTao Zhang Junlin Zhang

الملخص

أصبح التطبيع أحد المكونات الأساسية في العديد من الشبكات العصبية العميقة المستخدمة في مهام التعلم الآلي، بينما تم استخدام الشبكات العصبية العميقة على نطاق واسع في مجال تقييم احتمال النقر (CTR). ومع أن معظم النماذج المقترحة من الشبكات العصبية العميقة لا تستخدم تقنيات التطبيع، إلا أن بعض الدراسات مثل الشبكة العميقة والمتقاطعة (DCN) وآلة التحليل العصبي العاملة (NFM) تستخدم التطبيع الدُفعي (Batch Normalization) في الجزء الشبكي المتعدد الطبقات (MLP) من البنية. ومع ذلك، لا توجد دراسة شاملة تحلل تأثير التطبيع على أنظمة الترتيب القائمة على الشبكات العصبية العميقة (DNN). في هذه الورقة، نقوم بدراسة منهجية لتأثير السُّمات الشائعة للتطبيع من خلال تطبيق مختلف تقنيات التطبيع على كل من تضمين الميزات (feature embedding) والجزء الشبكي المتعدد الطبقات (MLP) في نموذج DNN. أجرينا تجارب واسعة على ثلاث مجموعات بيانات واقعية، وأظهرت النتائج التجريبية أن التطبيع الصحيح يعزز بشكل كبير أداء النموذج. كما نقترح في هذه الدراسة تقنية تطبيع جديدة وفعالة تعتمد على طبقة التطبيع (LayerNorm)، وتُسمى التطبيع الطبقي المبني فقط على التباين (Variance Only LayerNorm، VO-LN). وبناءً على الملاحظات السابقة، نقترح نموذجًا جديدًا للشبكة العصبية العميقة محسّنًا بالتطبيع، يُدعى NormDNN. وبالنسبة للسبب الذي يجعل التطبيع فعّالًا في نماذج DNN عند تقييم احتمال النقر، نجد أن التباين الناتج عن التطبيع يلعب الدور الرئيسي، ونقدّم تفسيرًا لهذا الظاهرة في هذه الورقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp