التعلم غير المحدب من خلال محاكاة مونت كارلو ذات التدرج العشوائي لتبادل النسخة

يُعدّ تبادل النسخة مونت كارلو (reMC)، المعروف أيضًا باسم التبريد المتوازي، تقنية مهمة لتسريع تقارب خوارزميات مونت كارلو سلسلة ماركوف التقليدية (MCMC). ومع ذلك، تتطلب هذه الطريقة تقييم دالة الطاقة بناءً على مجموعة البيانات الكاملة، ولا تصلح لمعالجة البيانات الضخمة. كما أن التنفيذ البسيط لـ reMC في بيئات الحزم الصغيرة (mini-batch) يؤدي إلى انحياز كبير، ولا يمكن توسيعه مباشرة إلى مونت كارلو مع التدرج العشوائي (SGMCMC)، وهي الطريقة القياسية للعينة عند محاكاة الشبكات العصبية العميقة (DNNs). في هذا البحث، نقترح خوارزمية SGMCMC المُعدّلة لتبادل النسخ (reSGMCMC) التي تصحح الانحياز تلقائيًا وندرس الخصائص المرتبطة بها. وتشير التحليلات إلى وجود تناقض بين السرعة والدقة في التفكيك العددي لعملية قفز ماركوف في بيئة عشوائية. من الناحية التجريبية، تم اختبار الخوارزمية من خلال تجارب واسعة النطاق في مختلف الإعدادات، وتم تحقيق أفضل النتائج المتوفرة حاليًا على مجموعات بيانات CIFAR10 وCIFAR100 وSVHN في مهام التعلم الخاضع للإشراف والتعلم شبه الخاضع للإشراف.