وظيفة خسارة فعّالة لإنشاء نماذج ثلاثية الأبعاد من صورة ثنائية الأبعاد الواحدة دون عرض مرئي

يُعد التصوير القابل للتفاضل تقنية ناجحة جدًا تُطبَّق على إعادة بناء 3D من صورة واحدة. تعتمد المحاكيات الحالية على دوال خسارة تعتمد على البكسلات بين الصورة المُولَّدة من كائن ثلاثي الأبعاد مُعاد بناؤه والصور الحقيقية (ground-truth) المأخوذة من زوايا متطابقة، بهدف تحسين معاملات الشكل ثلاثي الأبعاد. تتطلب هذه النماذج خطوة تصوير، بالإضافة إلى معالجة الرؤية (visibility handling) وتقييم نموذج الإضاءة (shading model). ويهدف هذا البحث إلى إثبات إمكانية تجنب هذه الخطوات، مع تحقيق نتائج إعادة بناء تُوازي أو حتى تفوق النماذج الرائدة الحالية، وتفوق طرق إعادة البناء المخصصة للتصنيف الحالية. أولاً، نستخدم نفس الهيكل الشبكي العصبي التلافيفي (CNN) لتنبؤ شكل السحابة النقطية (point cloud shape) وتنبؤ الوضع (pose prediction)، تمامًا كما استخدمها Insafutdinov & Dosovitskiy. ثانيًا، نقترح دالة خسارة جديدة وفعالة تقيّم مدى تغطية مشاريع السحابة النقطية ثلاثية الأبعاد المُعاد بناؤها لشكل الحدود (silhouette) للجسم الحقيقي. ثم نستخدم تقنية إعادة بناء السطح باستخدام طريقة بواسون (Poisson Surface Reconstruction) لتحويل السحابة النقطية المُعاد بناؤها إلى شبكة ثلاثية الأبعاد (3D mesh). وأخيرًا، نُطبّق خريطة نسيج مبنية على نموذج GAN على الشبكة ثلاثية الأبعاد المحددة، ونُنتج شبكة ثلاثية الأبعاد مُغطاة بنسيج من صورة ثنائية الأبعاد واحدة. وقد قُمنا بتقييم طريقتنا على مجموعات بيانات مختلفة (بما في ذلك ShapeNet، CUB-200-2011، وPascal3D+)، وحققنا نتائج متقدمة جدًا، متفوّقين على جميع الطرق المُراقبة وغير المُراقبة، وتمثيلات 3D الأخرى، من حيث الأداء، الدقة، ووقت التدريب.