HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة تهيئة المعلمات من خلال جداول الدفعات الدورية

Norman Mu* Zhewei Yao* Amir Gholami Kurt Keutzer Michael W. Mahoney

الملخص

تظل المبادرة المثلى للمعلمات مشكلة حاسمة في تدريب الشبكات العصبية. فقد يؤدي التوزيع غير الجيد للأوزان إلى زيادة وقت التدريب و/أو التقارب إلى حلول فرعية غير مثلى. في هذا البحث، نقترح طريقة لإعادة مبادرة الأوزان من خلال إعادة التبريد المتكررة وحقن الضوضاء في عملية التدريب. نقوم بتنفيذ هذه الطريقة من خلال جدول دفعات دوري مستوحى من وجهة النظر البيزية لتدريب الشبكات العصبية. نقيم طرقنا من خلال تجارب واسعة النطاق على مهام في نمذجة اللغة، والاستدلال اللغوي الطبيعي، وتصنيف الصور. نثبت قدرة طرقتنا على تحسين أداء نمذجة اللغة بمقدار يصل إلى 7.91 من الالتباس (perplexity) وتقليل عدد تكرارات التدريب بنسبة تصل إلى 61٪، بالإضافة إلى مرونتها في تمكين الجمع الفوري واستخدامها مع التدريب المعادي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
إعادة تهيئة المعلمات من خلال جداول الدفعات الدورية | مستندات | HyperAI