الملخص

نُقدِّم "سييدريم 4.0" (Seedream 4.0)، نظامًا متعدد الوسائط فعّالًا وأداءً عالٍ لإنشاء الصور، يُوحّد بين عمليات التوليد النصّي-الصوري (T2I)، وتحرير الصور، وتكوين صور متعددة ضمن إطار واحد. وقد طوّرنا نموذجًا مُحولًا بالانتشار (diffusion transformer) عالي الكفاءة، مزودًا بتحويلة تباينية قوية (VAE) تُقلّل بشكل كبير من عدد الرموز الصورية (image tokens)، ما يُمكّن من تدريب النموذج بكفاءة عالية، ويُتيح له إنشاء صور عالية الدقة أصليّة بسرعة (مثل 1K إلى 4K). تمّ تدريب سييدريم 4.0 مسبقًا على مليارات أزواج النصوص والصور التي تغطي تصنّفات متنوعة ومفاهيم مركزية حول المعرفة. وضمانًا لتدريب مستقرّ وشامل على نطاق واسع، اعتمدنا جمع بيانات مكثّف عبر مئات السيناريوهات المتخصصة، مع استراتيجيات مُحسّنة تُعزّز القدرة على التعميم القوية. وباستخدام نموذج مُعدّل بدقة من نماذج التوصيف المتعدد الوسائط (VLM)، نُجري تدريبًا مُتعدّد الوسائط بعد التدريب المسبق (post-training)، بهدف تدريب مهام التوليد النصّي-الصوري وتحرير الصور معًا بشكل متكامل. ولتسريع عملية الاستدلال (inference)، دمجنا تقنيات التعلم المُضاد (adversarial distillation)، ومحاكاة التوزيع (distribution matching)، والكمّية (quantization)، بالإضافة إلى التشفير التخميني (speculative decoding). وتمكّن هذه التقنيات من تحقيق زمن استدلال يصل إلى 1.8 ثانية لإنشاء صورة بحجم 2K (بدون استخدام نموذج لغوي أو VLM كنموذج مساعد). أظهرت التقييمات الشاملة أن سييدريم 4.0 يحقق نتائج متميزة على مستوى الحدّ الأقصى (state-of-the-art) في كل من مهام التوليد النصّي-الصوري وتحرير الصور المتعددة الوسائط. وبشكل خاص، أظهر أداءً استثنائيًا في المهام المعقدة، بما في ذلك تحرير الصور بدقة عالية، والاستدلال السياقي (in-context reasoning)، كما يدعم الاستناد إلى صور متعددة، ويُتيح إنشاء عدة صور ناتجة في آنٍ واحد. ما يمكّن من توسيع نطاق أنظمة التوليد النصّي-الصوري التقليدية إلى أداة إبداعية أكثر تفاعلًا ومتعددة الأبعاد، ويدفع حدود الذكاء الاصطناعي التوليدي في مجالات الإبداع والتطبيقات المهنية. يُمكن الآن الوصول إلى سييدريم 4.0 عبر الرابط: https://www.volcengine.com/experience/ark?launch=seedream.