التعلم النموذجيات القائمة على الطاقة من خلال احتمالية استعادة التشتت

بينما تُظهر النماذج القائمة على الطاقة (EBMs) عددًا من الخصائص المرغوبة، تظل عملية التدريب والعينة من البيانات عالية الأبعاد تحديًا كبيرًا. مستوحاة من التقدم الأخير في نماذج الاحتمالات الانسيابية (diffusion probabilistic models)، نقدّم طريقة لحساب الاحتمال المعكوس القائم على الانسياب (diffusion recovery likelihood) لتمكين التعلّم والعينة بشكل عملي من تسلسل من نماذج EBM التي تم تدريبها على إصدارات متزايدة الضوضاء من مجموعة بيانات. يتم تدريب كل نموذج EBM باستخدام معيار الاحتمال المعكوس، والذي يُحسّن احتمال البيانات عند مستوى ضوضاء معين بناءً على نسخها المضطربة عند مستوى ضوضاء أعلى. إن تحسين معيار الاحتمال المعكوس أكثر سهولة من تحسين معيار الاحتمال الحاشي (marginal likelihood)، نظرًا لأن عينة التوزيعات الشرطية تكون أسهل بكثير من عينة التوزيعات الحاشية. وبعد الانتهاء من التدريب، يمكن إنتاج صور مُصَنَّعة من خلال عملية العينة التي تبدأ من توزيع الضوضاء البيضاء الغاوسية، ثم تُستخرج عينات تدريجية من التوزيعات الشرطية عند مستويات ضوضاء متزايدة التناقص. تُنتج طريقتنا عينات عالية الدقة على مختلف مجموعات بيانات الصور. على بيانات CIFAR-10 غير المشروطة، حققت الطريقة نتيجة FID قدرها 9.58 وScore Inception 8.30، وهي أفضل من معظم نماذج GAN. علاوةً على ذلك، نُظهر أن، على عكس الدراسات السابقة حول نماذج EBM، لا تنحرف عينات مونت كارلو على المدى الطويل (long-run MCMC) المستمدة من التوزيعات الشرطية، بل تظل تمثل صورًا واقعية، مما يسمح لنا بتقدير دقيق لكثافة البيانات المُعيّنة حتى في الحالات ذات الأبعاد العالية. تُتاح النسخة التنفيذية للطريقة عبر الرابط: https://github.com/ruiqigao/recovery_likelihood.