مُرَنِّع ناعم: محرك تظليل قابل للتفاضل للاستدلال ثلاثي الأبعاد القائم على الصور

الرسم ثلاثي الأبعاد يربط الفجوة بين الرؤية ثنائية الأبعاد والمشهد ثلاثي الأبعاد من خلال محاكاة العملية الفيزيائية لتكوين الصورة. من خلال عكس مثل هذا المحاكِ، يمكن التفكير في نهج تعليمي لاستنتاج المعلومات ثلاثية الأبعاد من الصور ثنائية الأبعاد. ومع ذلك، فإن المحاكيات الرسومية القياسية تتضمن خطوة تقسيم أساسية تسمى الترسيم (rasterization)، والتي تحول دون قابلية عملية الرسم للتفاضل وبالتالي قابليتها للتعلم. على عكس أحدث المحاكيات القابلة للتفاضل، التي تقترب فقط من تدرج الرسم في انتشار العودة (back propagation)، نقترح إطارًا رصديًا قابلًا للتفاضل تمامًا والذي يتمكن من (1) رسم الشبكة الملونة مباشرة باستخدام الدوال القابلة للتفاضل و(2) نقل إشارات الإشراف الكفؤة إلى رؤوس الشبكة وخصائصها من أشكال مختلفة لتمثيل الصور، بما في ذلك السيلوات (silhouette) والتظليل والألوان.المفتاح لإطارنا هو صياغة جديدة تعتبر الرسم دالة تجميع تقوم بدمج المساهمات الاحتمالية لجميع مثلثات الشبكة بالنسبة للبكسل المرسومة. هذه الصياغة تمكّن إطارنا من تدفق التدرجات إلى الرؤوس المخفية والبعيدة، وهو ما لا يمكن تحقيقه بواسطة التقنيات السابقة الأكثر تقدمًا. نظهر أن استخدام المحاكِ المقترح يمكن أن يؤدي إلى تحسين كبير في إعادة بناء المشاهدة الواحدة غير المراقبة ثلاثية الأبعاد سواءً بشكل نوعي أو كمي. كما توضح التجارب أيضًا أن نهجنا قادر على التعامل مع المهام الصعبة في مطابقة الشكل المستند إلى الصور، والتي لا تزال غير بسيطة للمحاكيات القابلة للتفاضل الحالية.