إعادة تهيئة المعلمات من خلال جداول الدفعات الدورية

تظل المبادرة المثلى للمعلمات مشكلة حاسمة في تدريب الشبكات العصبية. فقد يؤدي التوزيع غير الجيد للأوزان إلى زيادة وقت التدريب و/أو التقارب إلى حلول فرعية غير مثلى. في هذا البحث، نقترح طريقة لإعادة مبادرة الأوزان من خلال إعادة التبريد المتكررة وحقن الضوضاء في عملية التدريب. نقوم بتنفيذ هذه الطريقة من خلال جدول دفعات دوري مستوحى من وجهة النظر البيزية لتدريب الشبكات العصبية. نقيم طرقنا من خلال تجارب واسعة النطاق على مهام في نمذجة اللغة، والاستدلال اللغوي الطبيعي، وتصنيف الصور. نثبت قدرة طرقتنا على تحسين أداء نمذجة اللغة بمقدار يصل إلى 7.91 من الالتباس (perplexity) وتقليل عدد تكرارات التدريب بنسبة تصل إلى 61٪، بالإضافة إلى مرونتها في تمكين الجمع الفوري واستخدامها مع التدريب المعادي.