Fantasia3D: فصل الهندسة والملمس لإنشاء محتوى ثلاثي الأبعاد عالي الجودة من النص

أحرزت إنشاء المحتوى ثلاثي الأبعاد تلقائيًا تقدماً سريعاً مؤخراً بفضل توفر نماذج اللغة الكبيرة المُدرّبة مسبقاً ونماذج التبديد الصوري، مما شكّل موضوعاً ناشئاً يُعرف بـ "التحويل من النص إلى المحتوى ثلاثي الأبعاد". تُستخدم الطرق الحالية للتحويل من النص إلى ثلاثي الأبعاد عادةً تمثيلات مسرحية ضمنية، التي تربط بين الهندسة والملمس عبر تقنية التصوير الحجمي، وهي غير مثالية من حيث استرجاع الهياكل الدقيقة والتحقيق لنتائج تصوير واقعية بدرجة عالية؛ وبالتالي، فإنها أقل فعالية في إنتاج أصول ثلاثية الأبعاد عالية الجودة. في هذا العمل، نقترح طريقة جديدة تُدعى فانتاسيا3D لإنشاء محتوى ثلاثي الأبعاد عالي الجودة من نصوص. يكمن جوهر فانتاسيا3D في نمذجة وتعلم منفصلين للهندسة والملمس. بالنسبة لتعلم الهيكل الهندسي، نعتمد تمثيلاً هجيناً للمساحة، ونقترح ترميز المتجه الطبيعي السطحي المستخرج من هذا التمثيل كمدخل لنموذج التبديد الصوري. أما في نمذجة الملمس، فقد قمنا بإدخال دالة التوزيع الانعكاسية الثنائية المتغيرة مكانيًا (BRDF) إلى مهمة التحويل من النص إلى ثلاثي الأبعاد، وتعلمنا خصائص المواد السطحية لتحقيق تصوير واقعي بدرجة عالية للسطح المُنشأ. يُعد إطارنا المنفصل أكثر توافقاً مع محركات الرسوميات الشهيرة، ويُتيح دعم إعادة الإضاءة، والتعديل، والمحاكاة الفيزيائية للأصول ثلاثية الأبعاد المُنشأة. أجرينا تجارب شاملة تُظهر مزايا طريقتنا مقارنة بالطرق الحالية في ظل مختلف إعدادات مهام التحويل من النص إلى ثلاثي الأبعاد. صفحة المشروع والكود المصدري: https://fantasia3d.github.io/.