
الملخص
تطور التعلّم متعدد الوسائط بسرعة في فهم الصور، وذلك بفضل نماذج لغة كبيرة متعددة الوسائط (MLLMs) التي تستخدم نماذج لغة كبيرة قوية كنواة معرفية. ومع ذلك، في مجال توليد الصور، تُختزل هذه النماذج القوية عادةً إلى مُشفرات نصية عالمية لنموذج التشتت (diffusion models)، مما يترك معظم قدراتها على التفكير والتخطيط دون استخدام. وهذا يخلق فجوة: فبالرغم من أن النماذج متعددة الوسائط الحالية قادرة على تحليل التخطيطات المعقدة والخصائص والمشاهد الغنية بالمعرفة، إلا أنها تواجه صعوبة في إنتاج صور أو مقاطع فيديو بتحكم دقيق ومنظّم بنفس الدرجة. نقترح "MetaCanvas"، إطارًا خفيف الوزن يسمح لنماذج لغة كبيرة متعددة الوسائط بالتفكير والتخطيط مباشرةً في الفضاءات المكانية والمكانية-الزمنية (spatiotemporal latent spaces)، ويوفر تكاملًا وثيقًا مع مولّدات التشتت. قمنا بتنفيذ MetaCanvas تجريبيًا على ثلاث خلفيات مختلفة لنموذج التشتت، وقيّمناه على ستة مهام، تشمل توليد الصور من النص، وتوليد الفيديو من النص أو الصورة، وتحرير الصور/الفيديوهات، وتوليد الفيديو في السياق، حيث تتطلب كل مهمة تخطيطات دقيقة، وربطًا قويًا للخصائص، وتحكمًا يستند إلى التفكير العميق. أظهر MetaCanvas تفوقًا مستمرًا على النماذج الأساسية التي تعتمد على الشروط العالمية، مما يشير إلى أن اعتبار نماذج لغة كبيرة متعددة الوسائط كمخططات في الفضاءات المخفية (latent-space planners) يُعد اتجاهًا واعدًا لتقليل الفجوة بين الفهم متعدد الوسائط والتوليد.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.