تقليل التحيّز في التعرض في نماذج التشتت من خلال إدخال اضطرابات على المدخلات

أظهرت نماذج التوليد الاحتمالية التفاضلية المُزالة للضوضاء (Denoising Diffusion Probabilistic Models) جودة توليد مذهلة، رغم التكلفة الحسابية العالية الناتجة عن سلسلة العينات الطويلة. في هذه الورقة، لاحظنا أن السلسلة الطويلة للعينات تؤدي أيضًا إلى ظاهرة تراكم الأخطاء، وهي مشابهة لمشكلة التحيز التعرضي (exposure bias) في توليد النصوص ذاتية التسلسل (autoregressive text generation). وبشكل خاص، لاحظنا وجود فجوة بين مرحلتي التدريب والاختبار، حيث يُشَرَّط التدريب على العينات الحقيقية (ground truth)، بينما يُشَرَّط الاختبار على النتائج المولدة مسبقًا. ولتخفيف هذه المشكلة، نقترح تدريبًا منظمًا بسيطًا ولكن فعّالًا، يتكون من إدخال اضطرابات على العينات الحقيقية لمحاكاة أخطاء التنبؤ أثناء الاستدلال (inference time). ونُظهر تجريبيًا أن الاضطراب المُدخل في المدخلات يؤدي إلى تحسين كبير في جودة العينات، دون التأثير على دقة الاسترجاع (recall) ودقة الدقة (precision)، مع تقليل كل من وقت التدريب ووقت الاستدلال. على سبيل المثال، على مجموعة بيانات CelebA بحجم 64×64، حققنا أفضل نتيجة محققة حتى الآن (state-of-the-art) في مؤشر FID بقيمة 1.27، مع توفير 37.5% من وقت التدريب. يمكن الوصول إلى الكود المصدر بشكل عام عبر الرابط: https://github.com/forever208/DDPM-IP