HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم النموذج القائم على الطاقة من خلال التدريس ثنائي مونت كارلو ماركوف

Jiali Cui Tian Han

الملخص

تُدرس هذه الورقة المشكلة الأساسية في التعلم الخاصة بنموذج الطاقة (EBM). يمكن تحقيق التعلم في نموذج الطاقة من خلال تقدير الاحتمال الأقصى (MLE)، والذي يشمل عادةً عينة مونت كارلو على سلسلة ماركوف (MCMC)، مثل ديناميات لانجفين. ومع ذلك، قد تكون ديناميات لانجفين التي تبدأ بضوضاء عشوائية صعبة في التطبيق وصعبة التناوب (mixing). وهذا يُحفّز على استكشاف التدريب المشترك مع نموذج المُولّد، حيث يُستخدم نموذج المُولّد كنموذج مكمل لتجاوز عملية عينة MCMC. ومع ذلك، قد تكون هذه الطريقة أقل دقة من MCMC، وتحوّل إلى تعلم متحيّز لنموذج الطاقة. في المقابل، يمكن لنموذج المُولّد أيضًا أن يعمل كنموذج مُبتدئ لتحسين عينة MCMC، لكن تعلّمه قد يكون متحيّزًا لأنّه يتوافق فقط مع نموذج الطاقة، ولا يمتلك وصولًا إلى أمثلة تدريب واقعية. وقد يؤدي هذا التعلم المتحيّز لنموذج المُولّد إلى تقييد الإمكانات الكامنة في تعلّم نموذج الطاقة. لمعالجة هذه المشكلة، نقدّم إطارًا تعلّميًا مشتركًا يُدمج خوارزمية التعلّم حسب الاحتمال الأقصى لكل من نموذج الطاقة والنموذج المكمل للمُولّد. وبشكل خاص، يُدرّس نموذج المُولّد باستخدام MLE لمحاكاة كل من نموذج الطاقة وتوزيع البيانات التجريبية، مما يجعله مُبتدئًا أكثر إفادة لعملية عينة MCMC لنموذج الطاقة. وعادةً ما يتطلب تعلّم نموذج المُولّد باستخدام الأمثلة الملاحظة استنتاج التوزيع الاحتمالي الخلفي (posterior) للنموذج. ولضمان استنتاج دقيق وفعال، نعتمد عينة التوزيع الخلفي باستخدام MCMC، ونقدّم نموذج استنتاج مكمل لتمكين بدء عينة MCMC الخفية. ونُظهر أن ثلاث نماذج منفصلة يمكن دمجها بسلاسة داخل إطارنا المشترك من خلال تقنية التدريس باستخدام MCMC المزدوج (dual-MCMC)، مما يُمكّن من تعلّم نموذج الطاقة بشكل فعّال وكفؤ.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp