HyperAIHyperAI

Command Palette

Search for a command to run...

Make-A-Scene: توليد صور من نص بناءً على المشهد باستخدام المعرفة البشرية

Oran Gafni Adam Polyak Oron Ashual Shelly Sheynin Devi Parikh Yaniv Taigman

الملخص

تُقدّم الأساليب الحديثة لتحويل النص إلى صورة قدرة بسيطة ولكنها مثيرة على التحويل بين مجالات النص والصورة. وعلى الرغم من التحسينات التدريجية التي تم تحقيقها في جودة الصور المولّدة وارتباطها بالنص، تظل هناك فجوات جوهرية لم تُحل بعد، مما يحد من التطبيقات الممكنة وجودة النتائج. نقترح طريقة جديدة لتحويل النص إلى صورة تُعالج هذه الفجوات من خلال (أ) تمكين آلية تحكم بسيطة تكمل النص من خلال مخطط مشهد (scene)، (ب) إدخال عناصر تُحسّن بشكل كبير عملية التجزئة (tokenization) من خلال استخدام معرفة محددة بالمنطقة (domain-specific knowledge) في مناطق الصورة الرئيسية (مثل الوجوه والأجسام البارزة)، و(ج) تكييف التوجيه بدون فاصل (classifier-free guidance) لحالة استخدام النموذج التحويلي (transformer). تحقق نموذجنا أفضل النتائج في مؤشر FID والاختبارات البشرية، مما يتيح إمكانية إنشاء صور عالية الولادة (fidelity) بدقة 512×512 بكسل، مع تحسين ملحوظ للجودة البصرية. وبفضل القدرة على التحكم بالمشهد، نُدخل عدة قدرات جديدة: (أ) تعديل المشهد، (ب) تعديل النص باستخدام مشاهد مرجعية (anchor scenes)، (ج) التغلب على نصوص مُدخلة خارج التوزيع (out-of-distribution text prompts)، و(د) إنشاء صور توضيحية للقصص، كما تم عرض ذلك في القصة التي كتبناها.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp