عينة التعويض لتحسين التقارب في نماذج الانتشار

تُحقِّق نماذج الانتشار (Diffusion models) جودةً ملحوظةً في توليد الصور، ولكن بثمن. يتطلب التخلص التكراري من الضوضاء العديد من الخطوات الزمنية لإنتاج صور ذات دقة عالية. نعتقد أن عملية التخلص من الضوضاء تُقيَّد بشكل حاسم بسبب تراكم خطأ إعادة الإنشاء الناتج عن إعادة إنشاء غير دقيقة للمعلومات المستهدفة في البداية. هذا يؤدي إلى خروج بجودة أقل وتباطؤ في التقارب. لمعالجة هذه المشكلة، نقترح استخدام العينات التعويضية (compensation sampling) لتوجيه التوليد نحو المجال المستهدف. نقدم حدًا تعويضيًا يتم تنفيذه كشبكة U-Net، والذي يضيف عبء حسابي قليل للغاية أثناء التدريب ويمكن اختياريًا أثناء الاستدلال. نهجنا مرنة وقد أظهرنا تطبيقها في التوليد غير الشرطي وإعادة تكوين الوجه وإزالة الغطاء عن الوجه باستخدام مجموعات بيانات معيارية مثل CIFAR-10 وCelebA وCelebA-HQ وFFHQ-256 وFSG. يُنتج نهجنا باستمرار نتائجًا رائدةً من حيث جودة الصور، بينما يسرع عملية التخلص من الضوضاء للتوصل إلى التقارب أثناء التدريب بمقدار يصل إلى عشرين ضعفًا.