الملخص

أثبتت قوانين التوسع نجاح النماذج المدربة على كميات كبيرة من البيانات وواعدتها في مجال الإبداع عبر مجالات النص والصورة والفيديو. ومع ذلك، يواجه هذا النموذج مشكلة نقص البيانات في المجال ثلاثي الأبعاد، إذ أن كميات البيانات ثلاثية الأبعاد المتاحة على الإنترنت تظل أقل بكثير مقارنةً بالوسائط المذكورة سابقًا. وبالمقابل، توجد كميات كافية من مقاطع الفيديو التي تحتوي بشكل طبيعي على معلومات أولية شائعة (commonsense priors)، مما يوفر إشارة إشرافية بديلة لتخفيف عقبة التعميم الناتجة عن نقص البيانات ثلاثية الأبعاد الأصلية. من ناحية، توفر مقاطع الفيديو التي تُسجل من زوايا متعددة لجسم أو مشهد، معلومات أولية حول الاتساق المكاني لعمليات الإنشاء ثلاثي الأبعاد. ومن ناحية أخرى، تتيح المعلومات الدلالية الغنية المحتواة في مقاطع الفيديو توليد محتوى أكثر اتساقًا مع التعليمات النصية وتماشيًا دلاليًا. تتناول هذه الورقة كيفية توظيف وسائط الفيديو في إنشاء الأصول ثلاثية الأبعاد، من خلال تغطية مجموعة البيانات والنماذج. ونقدم "Droplet3D-4M"، أول مجموعة بيانات كبيرة الحجم لمقاطع الفيديو مُعدَّة بتعليقات على مستوى الزوايا المتعددة، ونُدرِّب نموذجًا توليديًا يُسمَّى Droplet3D، يدعم إدخال الصور والنصوص الكثيفة. وقد أثبتت التجارب الواسعة فعالية النهج المُقدَّم، مُظهرة قدرته على إنتاج محتوى متسق مكانيًا ومتماسك دلاليًا. علاوةً على ذلك، وعلى عكس الحلول الثلاثية الأبعاد السائدة، يُظهر نهجنا إمكانية التوسع لتطبيقات على مستوى المشهد. مما يدل على أن المعلومات الأولية الشائعة المستمدة من مقاطع الفيديو تسهم بشكل كبير في تسهيل الإنشاء ثلاثي الأبعاد. وقد قمنا بالإفصاح عن جميع الموارد، بما في ذلك مجموعة البيانات، والكود، والإطار التقني، ووزن النموذج: https://dropletx.github.io/.