Text2Mesh: التحويل العصبي الموجه بالنص للشبكات ثلاثية الأبعاد

في هذا العمل، نطور واجهات تحكم بديهية لتحرير أسلوب الأشياء ثلاثية الأبعاد. إطارنا، المسمى Text2Mesh، يقوم بتزيين شبكة ثلاثية الأبعاد من خلال التنبؤ باللون والتفاصيل الهندسية المحلية التي تتوافق مع دعوة نصية هدف. نعتبر تمثيلًا مفككًا لشئ ثلاثي الأبعاد باستخدام إدخال شبكة ثابتة (المحتوى) مقترن بشبكة عصبية تم تعلمها، والتي نطلق عليها اسم شبكة الحقل النمطي العصبي (neural style field network). للتعديل على الأسلوب، نحصل على درجة تشابه بين دعوة نصية (تصف الأسلوب) وشبكة مزينة من خلال الاستفادة من قوة التمثيل في CLIP. لا يتطلب Text2Mesh وجود نموذج تولي مسبق أو مجموعة بيانات خاصة بشبكات ثلاثية الأبعاد. يمكنه التعامل مع الشبكات ذات الجودة المنخفضة (غير متصلة، حدود، إلخ) بأي جنس، ولا يحتاج إلى معلمة UV. نظهر قدرة تقنيتنا على تركيب مجموعة متنوعة من الأساليب عبر مجموعة واسعة من الشبكات ثلاثية الأبعاد.