تدريب الاحتمال الأقصى للنماذج التفاضلية القائمة على التقييم

تنشئ نماذج التشتت القائمة على الدرجات العينات من خلال عكس عملية عشوائية تُفرّق البيانات إلى ضوضاء، وتُدرَّب من خلال تقليل مجموع موزون لخسائر مطابقة المدى (score matching losses). يمكن حساب احتمالية اللوغاريتم (log-likelihood) لنماذج التشتت القائمة على الدرجات بشكل عملي من خلال ربطها بالتدفقات العادية المستمرة (continuous normalizing flows)، ولكن احتمالية اللوغاريتم لا تُحسَّن مباشرةً بواسطة المجموع الموزون لخسائر مطابقة المدى. نُظهر أنه بالنسبة لخطة ترجيح محددة، فإن الدالة الهدف تُعد حدًا علويًا لسلبية احتمالية اللوغاريتم، مما يمكّن من تدريب تقريبي يعتمد على الاحتمال الأقصى (approximate maximum likelihood training) لنماذج التشتت القائمة على الدرجات. ونلاحظ تجريبيًا أن تدريب الاحتمال الأقصى يُحسّن باستمرار احتمالية نماذج التشتت القائمة على الدرجات عبر عدة مجموعات بيانات، وعمليات عشوائية، وأشكال معمارية للنماذج. وتحقق أفضل النماذج قيمًا لسلبية احتمالية اللوغاريتم قدرها 2.83 و3.76 بت/بعد على بيانات CIFAR-10 وImageNet 32x32 دون استخدام أي تعديل للبيانات، وهي أداء مماثل للنماذج التلقائية المتقدمة (autoregressive models) في هذه المهام.