Noam Issachar Guy Yariv Sagie Benaim Yossi Adi Dani Lischinski Raanan Fattal

الملخص

يمكن لنموذج التحويل التبادلي (Diffusion Transformer) إنتاج صور بجودة وتفصيل ملحوظين، إلا أن تدريبه على دقة عالية جدًا ما زال مكلفًا للغاية بسبب التوسع التربيعي للآلية الانتباه الذاتي بالنسبة لعدد رموز الصورة. في هذه الورقة، نقدّم طريقة جديدة تُسمى "الاستخلاص الديناميكي للوضعية" (Dynamic Position Extrapolation - DyPE)، وهي طريقة لا تتطلب تدريبًا، تُمكّن النماذج المُدرّبة مسبقًا من التحويل التبادلي من إنتاج صور بدقة تفوق بكثير دقة البيانات المستخدمة في التدريب، دون أي تكلفة إضافية في العينة. تعتمد DyPE على التسلسل الطيفي المتأصل في عملية التبادل، حيث تتحدد الهياكل ذات التردد المنخفض مبكرًا، بينما تستغرق الهياكل ذات التردد العالي وقتًا أطول للحل. وبشكل خاص، تقوم DyPE بتعديل ترميز الوضعية للنموذج ديناميكيًا في كل خطوة من خطوات التبادل، بحيث يتطابق طيف التردد مع المرحلة الحالية من عملية التوليد. يُمكّن هذا النهج من إنتاج صور بدقة تفوق بكثير دقة التدريب، مثل إنشاء صور بحجم 16 مليون بكسل باستخدام نموذج FLUX. وقد أظهرت DyPE تحسينات متسقة في عدة معايير أداء، وحققت أفضل جودة في توليد الصور بدقة فائقة، مع تزايد الفوائد بشكل ملحوظ عند الارتفاع في الدقة. يمكن الاطلاع على صفحة المشروع عبر الرابط: https://noamissachar.github.io/DyPE/.