Unique3D: إنشاء شبك ثلاثي الأبعاد عالي الجودة وكفء من صورة واحدة

في هذا العمل، نقدم Unique3D، إطارًا جديدًا لتحويل الصور إلى نماذج ثلاثية الأبعاد يهدف إلى توليد شبكات ثلاثية الأبعاد عالية الجودة بكفاءة من صور ذات زاوية واحدة، متميزًا بأمانة التوليد الحالية وقوة التعميم. الطرق السابقة التي تعتمد على تقنية استخلاص النقاط (Score Distillation Sampling - SDS) يمكنها إنتاج نتائج ثلاثية الأبعاد متنوعة عن طريق استخلاص المعرفة الثلاثية الأبعاد من نماذج التوسع ثنائية الأبعاد الكبيرة، ولكنها غالبًا ما تعاني من وقت تحسين طويل لكل حالة مع مشاكل عدم الاتساق. الأعمال الحديثة تعالج هذه المشكلة وتولد نتائج أفضل في ثلاثة أبعاد إما عن طريق تعديل نموذج توسع متعدد الزوايا أو تدريب نموذج تغذية أمامي سريع. ومع ذلك، لا تزال هذه الطرق تعاني من النقص في الملمس الدقيق والهندسة المعقدة بسبب عدم الاتساق والدقة المحدودة للصور المولدة. لتحقيق الأمانة والاتساق والكفاءة بشكل متزامن في تحويل الصور ذات الزاوية الواحدة إلى ثلاثة أبعاد، نقترح إطارًا جديدًا يسمى Unique3D يتضمن نموذج توسع متعدد الزوايا مع نموذج توسع طبيعي متوافق لإنشاء صور متعددة الزوايا مع خرائط العمق الخاصة بها، عملية توسيع متعددة المستويات لتحسين دقة الصور المتعددة الأوجه المتعامدة بشكل تدريجي، بالإضافة إلى خوارزمية إعادة بناء الشبكة الفورية والمتزامنة التي تُعرف بـ ISOMER، والتي تقوم بدمج الأولويات اللونية والهندسية تمامًا في نتائج الشبكة. أظهرت التجارب الواسعة أن Unique3D يتفوق بشكل كبير على باقي النماذج الأساسية لتحويل الصور إلى ثلاثة أبعاد فيما يتعلق بالتفاصيل الهندسية والملمسية.