Jiachen Lei Keli Liu Julius Berner Haiming Yu Hongkai Zheng Jiahong Wu Xiangxiang Chu

الملخص

غالبًا ما تكون نماذج التوليد في فضاء البكسل (Pixel-space generative models) أكثر صعوبة في التدريب، وتعاني من أداء أقل مقارنة بنماذج فضاء اللاتنت (latent-space counterparts)، مما يترك فجوة مستمرة في الأداء والكفاءة. في هذه الورقة، نقدّم إطارًا تدريبيًا ثنائي المراحل جديدًا يُغلق هذه الفجوة بالنسبة لنماذج التشتت (diffusion) ونماذج الاتساق (consistency) في فضاء البكسل. في المرحلة الأولى، نُدرّب مُشفرات (encoders) مسبقًا لالتقاط المعاني المفيدة من الصور النظيفة، مع محاذاة هذه المُشفرات بنقاط تقع على نفس المسار العيني المحدد، والذي يُحوّل النقاط من التوزيع الأولي إلى توزيع البيانات. وفي المرحلة الثانية، نُدمج المُشفر مع مُفكّك (decoder) مُهيأ عشوائيًا، ونُدرّب النموذج الكامل بشكل تكاملي (end-to-end) لكل من نماذج التشتت ونماذج الاتساق. يُظهر إطار التدريب لدينا أداءً تجريبيًا قويًا على مجموعة بيانات ImageNet. وبشكل خاص، يحقق نموذج التشتت لدينا مؤشر FID قدره 2.04 على ImageNet-256 و2.35 على ImageNet-512، باستخدام 75 تقييمًا للدالة (NFE)، متفوّقًا بفارق كبير على الطرق السابقة في فضاء البكسل من حيث جودة التوليد وكفاءة الأداء، مع منافسة النماذج الرائدة القائمة على VAEs عند تكلفة تدريب مماثلة. علاوةً على ذلك، على ImageNet-256، يحقق نموذج الاتساق لدينا مؤشر FID مذهلًا قدره 8.82 في خطوة عينة واحدة، متفوّقًا بشكل كبير على نظيره في فضاء اللاتنت. إلى حد معرفتنا، يُعد هذا أول تدريب ناجح لنموذج اتساق مباشر على صور عالية الدقة دون الاعتماد على نماذج VAEs مُدرّبة مسبقًا أو نماذج التشتت.