عدد المجموعات المثالي لنقل التدرجات المتساوية

في الآونة الأخيرة، تم اقتراح عدة طبقات تطبيعية لاستقرار تدريب الشبكات العصبية العميقة. ومن بينها، تمثل التطبيع الجماعي تعميمًا للتطبيع الطبقي والتطبيع الفردي من خلال السماح بدرجة حرية في عدد المجموعات التي تستخدمها. ومع ذلك، يتطلب تحديد العدد الأمثل للمجموعات إجراء ضبط للبارامترات عبر تجربة وخطأ، وهي تجارب تستهلك وقتًا طويلاً. في هذه الدراسة، نناقش طريقة معقولة لتحديد عدد المجموعات. أولاً، نلاحظ أن عدد المجموعات يؤثر على سلوك التدرج في طبقة التطبيع الجماعي. وباستناد إلى هذه الملاحظة، نستنتج العدد المثالي للمجموعات، والذي يُعدّل مقياس التدرج لتسهيل عملية التحسين باستخدام الانحدار التدرجي. يُعد العدد المقترح للمجموعات مدعومًا نظريًا، ويعتمد على بنية الشبكة، ويمكنه توفير قيمة مناسبة بطريقة طبقية لكل طبقات الشبكة. أظهرت الطريقة المقترحة أداءً متفوقًا مقارنة بالطرق الحالية في العديد من بنى الشبكات العصبية، والمهام، والموارد البياناتية.