SinDiffusion: تعلم نموذج التفتيح من صورة طبيعية واحدة

نقدم تقنية SinDiffusion، والتي تستفيد من نماذج التفتيت المضاد للضوضاء لتقاطع توزيع الأجزاء الداخلية من صورة طبيعية واحدة. تحسن SinDiffusion جودة ومتنوعة العينات المولدة بشكل كبير مقارنة بالطرق القائمة على شبكات GAN. وتستند هذه التقنية إلى تصميمين أساسيين. أولاً، يتم تدريب SinDiffusion باستخدام نموذج واحد وحجم واحد بدلاً من استخدام عدة نماذج مع زيادة تدريجية للأحجام، وهو الإعداد الافتراضي في الأعمال السابقة. هذا يتجنب تراكم الأخطاء التي تتسبب في ظهور تشوهات مميزة في النتائج المولدة. ثانياً، حددنا أن مجال الاستقبال على مستوى الأجزاء في شبكة التفتيت هو أمر حاسم وفعال لتقاطع إحصائيات الأجزاء في الصورة، ولذلك قمنا بإعادة تصميم هيكل الشبكة للنموذج التفتيتي (diffusion model). ربط هذين التصميمين يمكّننا من إنتاج صور واقعية ومتنوعة من صورة واحدة فقط. علاوة على ذلك، يمكن تطبيق SinDiffusion على مجموعة متنوعة من التطبيقات مثل إنتاج الصور ب导读 النصوص (text-guided image generation) وإكمال الصور خارج الحدود (image outpainting)، بفضل القدرة الذاتية للنماذج التفتيتية. أظهرت التجارب الواسعة على نطاق واسع من الصور تفوق الطريقة المقترحة لدينا في نمذجة توزيع الأجزاء.