التطبيع التكراري: الانتقال من التوحيد إلى التبييض الفعال

تُستخدم التطبيع الدُفعة (BN) بشكل شائع لتسريع تدريب الشبكات العصبية وتحسين قدرتها على التعميم من خلال أداء التقييس داخل الدُفعات الصغيرة. يعزز التطبيع الدُفعة غير المرتبط (DBN) الفعالية المذكورة أعلاه بشكل أكبر من خلال التبييض. ومع ذلك، يعتمد DBN بشكل كبير إما على حجم دُفعة كبير، أو على تحليل القيم الذاتية الذي يعاني من كفاءة ضعيفة على وحدات معالجة الرسومات (GPUs). نقترح التطبيع المتكرر (IterNorm)، والذي يستخدم تكرارات نيوتن لتحقيق تبييض أكثر كفاءة، بينما يتجنب في الوقت نفسه تحليل القيم الذاتية. بالإضافة إلى ذلك، نقوم بدراسة شاملة لتوضيح أن IterNorm يتمتع بموازنة أفضل بين الأمثلة والقدرة على التعميم، مدعومة بنظرية وأبحاث تجريبية. لهذا الغرض، نقدم مفهوم الإرباك التطبيع العشوائي (SND)، الذي يقيس عدم اليقين العشوائي الأساسي للعينات عند تطبيق العمليات التطبيعية. بدعم من SND، نقدم تفسيرات طبيعية لعدة ظواهر من وجهة نظر الأمثلة، مثل سبب اتفاق تقسيم التبييض في DBN عمومًا مع الأداء الأفضل مقارنة بالتبييض الكامل ولماذا تنخفض دقة BN مع انخفاض أحجام الدُفعات. نوضح الأداء المحسن باستمرار لـ IterNorm من خلال العديد من التجارب الواسعة النطاق على CIFAR-10 و ImageNet مقارنة بـ BN و DBN.