HyperAIHyperAI

Command Palette

Search for a command to run...

نماذج التشتت القابلة للتوسع باستخدام المحولات

William Peebles Saining Xie

الملخص

نستعرض فئة جديدة من نماذج الانتشار المستندة إلى معمارية الترانسفورمر. نُدرّب نماذج انتشار مختبئة للصور، ونستبدل الهيكل الأساسي الشائع المستخدم (U-Net) بترانسفورمر يعمل على كتل مختبئة. ونحلل قابلية التوسع لنموذجنا، المعروف بـ DiTs (Diffusion Transformers)، من خلال تحليل تعقيد عملية التمرير الأمامي المقاس بـ Gflops. ونجد أن نماذج DiTs ذات القيمة الأعلى في Gflops — من خلال زيادة عمق أو عرض الترانسفورمر أو زيادة عدد الرموز المدخلة — تُظهر دائمًا قيمًا أقل لـ FID. وبالإضافة إلى خصائص التوسع الجيدة، فإن أكبر نماذج DiT-XL/2 لدينا تتفوق على جميع النماذج السابقة في معايير ImageNet بشروط التصنيف والصور بحجم 512x512 و256x256، وتُحقق أفضل قيمة محققة حتى الآن لـ FID وهي 2.27 في الحالة الثانية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp