HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 18 ساعات

استكشاف نقل المعلومات بين MLLM-Diffusion باستخدام MetaCanvas

استكشاف نقل المعلومات بين MLLM-Diffusion باستخدام MetaCanvas

الملخص

تطور التعلّم متعدد الوسائط بسرعة في فهم الصور، وذلك بفضل نماذج لغة كبيرة متعددة الوسائط (MLLMs) التي تستخدم نماذج لغة كبيرة قوية كنواة معرفية. ومع ذلك، في مجال توليد الصور، تُختزل هذه النماذج القوية عادةً إلى مُشفرات نصية عالمية لنموذج التشتت (diffusion models)، مما يترك معظم قدراتها على التفكير والتخطيط دون استخدام. وهذا يخلق فجوة: فبالرغم من أن النماذج متعددة الوسائط الحالية قادرة على تحليل التخطيطات المعقدة والخصائص والمشاهد الغنية بالمعرفة، إلا أنها تواجه صعوبة في إنتاج صور أو مقاطع فيديو بتحكم دقيق ومنظّم بنفس الدرجة. نقترح "MetaCanvas"، إطارًا خفيف الوزن يسمح لنماذج لغة كبيرة متعددة الوسائط بالتفكير والتخطيط مباشرةً في الفضاءات المكانية والمكانية-الزمنية (spatiotemporal latent spaces)، ويوفر تكاملًا وثيقًا مع مولّدات التشتت. قمنا بتنفيذ MetaCanvas تجريبيًا على ثلاث خلفيات مختلفة لنموذج التشتت، وقيّمناه على ستة مهام، تشمل توليد الصور من النص، وتوليد الفيديو من النص أو الصورة، وتحرير الصور/الفيديوهات، وتوليد الفيديو في السياق، حيث تتطلب كل مهمة تخطيطات دقيقة، وربطًا قويًا للخصائص، وتحكمًا يستند إلى التفكير العميق. أظهر MetaCanvas تفوقًا مستمرًا على النماذج الأساسية التي تعتمد على الشروط العالمية، مما يشير إلى أن اعتبار نماذج لغة كبيرة متعددة الوسائط كمخططات في الفضاءات المخفية (latent-space planners) يُعد اتجاهًا واعدًا لتقليل الفجوة بين الفهم متعدد الوسائط والتوليد.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp