توسيع النماذج التوليدية التسلسلية لتوليد صور من نصوص غنية بالمحتوى

نقدم نموذج Pathways Autoregressive Text-to-Image (Parti)، الذي يُولِّد صورًا عالية الوضوح وواقعية بصريًا، ويدعم تركيبات محتوى غنية تتضمّن تركيبات معقدة ومعرفة عالمية. يُعامل نموذج Parti توليد الصور من النص كمشكلة نمذجة تسلسل إلى تسلسل، مشابهة لترجمة الآلة، حيث تكون تسلسلات رموز الصورة هي المخرجات المستهدفة بدلًا من رموز النص بلغة أخرى. يُمكّن هذا النهج من الاستفادة الطبيعية من الكمية الكبيرة من الأبحاث السابقة المتعلقة بنماذج اللغات الكبيرة، والتي شهدت تطورات مستمرة في القدرات والأداء من خلال توسيع كميات البيانات وحجم النماذج. نهجنا بسيط: أولاً، يستخدم Parti مُشفّر صور يستند إلى مُحول (Transformer)، وهو ViT-VQGAN، لتمثيل الصور كتسلسلات من الرموز المنفصلة. ثانيًا، نحقّق تحسينات مستمرة في الجودة من خلال توسيع نموذج المحول المُشفّر-المنشئ إلى 20 مليار معلمة، ما يحقق أداءً متقدمًا على مستوى العالم في معيار FID دون تدريب مسبق (Zero-shot FID) بقيمة 7.23، وقيمة 3.22 عند التخصيص الدقيق (Fine-tuned FID) على مجموعة MS-COCO. تُظهر تحليلاتنا التفصيلية على بيانات Localized Narratives، بالإضافة إلى PartiPrompts (P2)، وهو معيار جديد شامل يحتوي على أكثر من 1600 مُدخل نصي باللغة الإنجليزية، فعالية Parti عبر مجموعة واسعة من الفئات والجوانب الصعبة. كما نستكشف ونُبرز القيود الحالية لنموذجنا، بهدف تحديد وتقديم أمثلة على المجالات الرئيسية التي تتطلب تحسينات مستقبلية. لمزيد من الصور عالية الدقة، يُرجى زيارة: https://parti.research.google/