HyperAIHyperAI

Command Palette

Search for a command to run...

تقنيات مُحسَّنة لتقدير الاحتمال الأقصى لمعادلات تفاضلية الت(diffusion ODEs)

Kaiwen Zheng Cheng Lu Jianfei Chen Jun Zhu

الملخص

أظهرت نماذج التفتيت أداءً متميزًا في مجالات متعددة. إن معادلة التفتيت العادية (ODE) الخاصة بنماذج التفتيت (أي ODEs للتفتيت) تمثل حالة خاصة من التدفقات الطبيعية المستمرة (CNFs)، مما يمكّن من الاستدلال المحدد وتقييم الاحتمال الدقيق. ومع ذلك، لا تزال نتائج تقدير الاحتمال الناتجة عن ODEs للتفتيت بعيدة عن مستويات النماذج المُولِّدة القائمة على الاحتمال الأفضل في الوقت الحالي. في هذا العمل، نقترح عدة تقنيات محسّنة لتقدير الاحتمال الأقصى لنماذج ODEs للتفتيت، من منظوري التدريب والتقييم. بالنسبة للتدريب، نقترح معاملة السرعة (velocity parameterization) ونستكشف تقنيات تقليل التباين لتحقيق تقارب أسرع. كما نُشَقُّ هدفًا متطابقًا من الدرجة العالية مُحدود الخطأ لتحسين الدقة (finetuning)، والذي يُحسّن احتمال ODE ويعزز تدفق المسار بشكل أكثر سلاسة. أما بالنسبة للتقييم، نقترح تقنية جديدة لا تتطلب تدريبًا (training-free truncated-normal dequantization) لسد الفجوة بين التدريب والتقييم التي توجد غالبًا في ODEs للتفتيت. وباستخدام هذه التقنيات، نحقق نتائج متميزة في تقدير الاحتمال على مجموعات بيانات الصور (2.56 على CIFAR-10، 3.43/3.69 على ImageNet-32) دون استخدام تقنيات التفتيت الاحتمالي (variational dequantization) أو التوسيع البيانات (data augmentation)، ونصل إلى 2.42 على CIFAR-10 مع استخدام التوسيع البيانات. يُمكن الوصول إلى الكود عبر الرابط: \url{https://github.com/thu-ml/i-DODE}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp