HyperAIHyperAI

Command Palette

Search for a command to run...

عدد المجموعات المثالي لنقل التدرجات المتساوية

Bum Jun Kim Hyeyeon Choi Hyeonah Jang Sang Woo Kim

الملخص

في الآونة الأخيرة، تم اقتراح عدة طبقات تطبيعية لاستقرار تدريب الشبكات العصبية العميقة. ومن بينها، تمثل التطبيع الجماعي تعميمًا للتطبيع الطبقي والتطبيع الفردي من خلال السماح بدرجة حرية في عدد المجموعات التي تستخدمها. ومع ذلك، يتطلب تحديد العدد الأمثل للمجموعات إجراء ضبط للبارامترات عبر تجربة وخطأ، وهي تجارب تستهلك وقتًا طويلاً. في هذه الدراسة، نناقش طريقة معقولة لتحديد عدد المجموعات. أولاً، نلاحظ أن عدد المجموعات يؤثر على سلوك التدرج في طبقة التطبيع الجماعي. وباستناد إلى هذه الملاحظة، نستنتج العدد المثالي للمجموعات، والذي يُعدّل مقياس التدرج لتسهيل عملية التحسين باستخدام الانحدار التدرجي. يُعد العدد المقترح للمجموعات مدعومًا نظريًا، ويعتمد على بنية الشبكة، ويمكنه توفير قيمة مناسبة بطريقة طبقية لكل طبقات الشبكة. أظهرت الطريقة المقترحة أداءً متفوقًا مقارنة بالطرق الحالية في العديد من بنى الشبكات العصبية، والمهام، والموارد البياناتية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp