HyperAIHyperAI

Command Palette

Search for a command to run...

التطبيع التكراري: الانتقال من التوحيد إلى التبييض الفعال

Lei Huang Yi Zhou Fan Zhu Li Liu Ling Shao

الملخص

تُستخدم التطبيع الدُفعة (BN) بشكل شائع لتسريع تدريب الشبكات العصبية وتحسين قدرتها على التعميم من خلال أداء التقييس داخل الدُفعات الصغيرة. يعزز التطبيع الدُفعة غير المرتبط (DBN) الفعالية المذكورة أعلاه بشكل أكبر من خلال التبييض. ومع ذلك، يعتمد DBN بشكل كبير إما على حجم دُفعة كبير، أو على تحليل القيم الذاتية الذي يعاني من كفاءة ضعيفة على وحدات معالجة الرسومات (GPUs). نقترح التطبيع المتكرر (IterNorm)، والذي يستخدم تكرارات نيوتن لتحقيق تبييض أكثر كفاءة، بينما يتجنب في الوقت نفسه تحليل القيم الذاتية. بالإضافة إلى ذلك، نقوم بدراسة شاملة لتوضيح أن IterNorm يتمتع بموازنة أفضل بين الأمثلة والقدرة على التعميم، مدعومة بنظرية وأبحاث تجريبية. لهذا الغرض، نقدم مفهوم الإرباك التطبيع العشوائي (SND)، الذي يقيس عدم اليقين العشوائي الأساسي للعينات عند تطبيق العمليات التطبيعية. بدعم من SND، نقدم تفسيرات طبيعية لعدة ظواهر من وجهة نظر الأمثلة، مثل سبب اتفاق تقسيم التبييض في DBN عمومًا مع الأداء الأفضل مقارنة بالتبييض الكامل ولماذا تنخفض دقة BN مع انخفاض أحجام الدُفعات. نوضح الأداء المحسن باستمرار لـ IterNorm من خلال العديد من التجارب الواسعة النطاق على CIFAR-10 و ImageNet مقارنة بـ BN و DBN.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التطبيع التكراري: الانتقال من التوحيد إلى التبييض الفعال | مستندات | HyperAI