تعلم النموذج القائم على الطاقة من خلال التدريس ثنائي مونت كارلو ماركوف

تُدرس هذه الورقة المشكلة الأساسية في التعلم الخاصة بنموذج الطاقة (EBM). يمكن تحقيق التعلم في نموذج الطاقة من خلال تقدير الاحتمال الأقصى (MLE)، والذي يشمل عادةً عينة مونت كارلو على سلسلة ماركوف (MCMC)، مثل ديناميات لانجفين. ومع ذلك، قد تكون ديناميات لانجفين التي تبدأ بضوضاء عشوائية صعبة في التطبيق وصعبة التناوب (mixing). وهذا يُحفّز على استكشاف التدريب المشترك مع نموذج المُولّد، حيث يُستخدم نموذج المُولّد كنموذج مكمل لتجاوز عملية عينة MCMC. ومع ذلك، قد تكون هذه الطريقة أقل دقة من MCMC، وتحوّل إلى تعلم متحيّز لنموذج الطاقة. في المقابل، يمكن لنموذج المُولّد أيضًا أن يعمل كنموذج مُبتدئ لتحسين عينة MCMC، لكن تعلّمه قد يكون متحيّزًا لأنّه يتوافق فقط مع نموذج الطاقة، ولا يمتلك وصولًا إلى أمثلة تدريب واقعية. وقد يؤدي هذا التعلم المتحيّز لنموذج المُولّد إلى تقييد الإمكانات الكامنة في تعلّم نموذج الطاقة. لمعالجة هذه المشكلة، نقدّم إطارًا تعلّميًا مشتركًا يُدمج خوارزمية التعلّم حسب الاحتمال الأقصى لكل من نموذج الطاقة والنموذج المكمل للمُولّد. وبشكل خاص، يُدرّس نموذج المُولّد باستخدام MLE لمحاكاة كل من نموذج الطاقة وتوزيع البيانات التجريبية، مما يجعله مُبتدئًا أكثر إفادة لعملية عينة MCMC لنموذج الطاقة. وعادةً ما يتطلب تعلّم نموذج المُولّد باستخدام الأمثلة الملاحظة استنتاج التوزيع الاحتمالي الخلفي (posterior) للنموذج. ولضمان استنتاج دقيق وفعال، نعتمد عينة التوزيع الخلفي باستخدام MCMC، ونقدّم نموذج استنتاج مكمل لتمكين بدء عينة MCMC الخفية. ونُظهر أن ثلاث نماذج منفصلة يمكن دمجها بسلاسة داخل إطارنا المشترك من خلال تقنية التدريس باستخدام MCMC المزدوج (dual-MCMC)، مما يُمكّن من تعلّم نموذج الطاقة بشكل فعّال وكفؤ.