تقنيات مُحسَّنة لتقدير الاحتمال الأقصى لمعادلات تفاضلية الت(diffusion ODEs)

أظهرت نماذج التفتيت أداءً متميزًا في مجالات متعددة. إن معادلة التفتيت العادية (ODE) الخاصة بنماذج التفتيت (أي ODEs للتفتيت) تمثل حالة خاصة من التدفقات الطبيعية المستمرة (CNFs)، مما يمكّن من الاستدلال المحدد وتقييم الاحتمال الدقيق. ومع ذلك، لا تزال نتائج تقدير الاحتمال الناتجة عن ODEs للتفتيت بعيدة عن مستويات النماذج المُولِّدة القائمة على الاحتمال الأفضل في الوقت الحالي. في هذا العمل، نقترح عدة تقنيات محسّنة لتقدير الاحتمال الأقصى لنماذج ODEs للتفتيت، من منظوري التدريب والتقييم. بالنسبة للتدريب، نقترح معاملة السرعة (velocity parameterization) ونستكشف تقنيات تقليل التباين لتحقيق تقارب أسرع. كما نُشَقُّ هدفًا متطابقًا من الدرجة العالية مُحدود الخطأ لتحسين الدقة (finetuning)، والذي يُحسّن احتمال ODE ويعزز تدفق المسار بشكل أكثر سلاسة. أما بالنسبة للتقييم، نقترح تقنية جديدة لا تتطلب تدريبًا (training-free truncated-normal dequantization) لسد الفجوة بين التدريب والتقييم التي توجد غالبًا في ODEs للتفتيت. وباستخدام هذه التقنيات، نحقق نتائج متميزة في تقدير الاحتمال على مجموعات بيانات الصور (2.56 على CIFAR-10، 3.43/3.69 على ImageNet-32) دون استخدام تقنيات التفتيت الاحتمالي (variational dequantization) أو التوسيع البيانات (data augmentation)، ونصل إلى 2.42 على CIFAR-10 مع استخدام التوسيع البيانات. يُمكن الوصول إلى الكود عبر الرابط: \url{https://github.com/thu-ml/i-DODE}.