HyperAIHyperAI

Command Palette

Search for a command to run...

تدريب الاحتمال الأقصى للنماذج التفاضلية القائمة على التقييم

Yang Song Conor Durkan Iain Murray Stefano Ermon

الملخص

تنشئ نماذج التشتت القائمة على الدرجات العينات من خلال عكس عملية عشوائية تُفرّق البيانات إلى ضوضاء، وتُدرَّب من خلال تقليل مجموع موزون لخسائر مطابقة المدى (score matching losses). يمكن حساب احتمالية اللوغاريتم (log-likelihood) لنماذج التشتت القائمة على الدرجات بشكل عملي من خلال ربطها بالتدفقات العادية المستمرة (continuous normalizing flows)، ولكن احتمالية اللوغاريتم لا تُحسَّن مباشرةً بواسطة المجموع الموزون لخسائر مطابقة المدى. نُظهر أنه بالنسبة لخطة ترجيح محددة، فإن الدالة الهدف تُعد حدًا علويًا لسلبية احتمالية اللوغاريتم، مما يمكّن من تدريب تقريبي يعتمد على الاحتمال الأقصى (approximate maximum likelihood training) لنماذج التشتت القائمة على الدرجات. ونلاحظ تجريبيًا أن تدريب الاحتمال الأقصى يُحسّن باستمرار احتمالية نماذج التشتت القائمة على الدرجات عبر عدة مجموعات بيانات، وعمليات عشوائية، وأشكال معمارية للنماذج. وتحقق أفضل النماذج قيمًا لسلبية احتمالية اللوغاريتم قدرها 2.83 و3.76 بت/بعد على بيانات CIFAR-10 وImageNet 32x32 دون استخدام أي تعديل للبيانات، وهي أداء مماثل للنماذج التلقائية المتقدمة (autoregressive models) في هذه المهام.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp