MobileNeRF: استغلال أنبوب ترميز المضلعات لتحقيق عرض مجالات عصبية فعّالة على البنية المحمولة

أظهرت الحقول الإشعاعية العصبية (NeRFs) قدرة مذهلة على إنتاج صور لمشاهد ثلاثية الأبعاد من زوايا جديدة. ومع ذلك، تعتمد هذه النماذج على خوارزميات خاصة للعرض الحجمي تعتمد على تقنية "الخطوات الشعاعية" (ray marching)، والتي لا تتماشى مع إمكانيات وحدات المعالجة الرسومية المنتشرة على نطاق واسع. تقدم هذه الورقة تمثيلًا جديدًا لـ NeRF يعتمد على مضلعات مُغطاة بنسيج، يتيح إنتاج صور جديدة بكفاءة باستخدام خطوط أنابيب عرض تقليدية. يتم تمثيل NeRF كمجموعة من المضلعات التي تحمل نسيجًا يمثل الكثافة الثنائية (الشفافية الثنائية) والمتجهات المميزة. يؤدي عرض هذه المضلعات باستخدام التقنية التقليدية مع "مُخزن العمق" (z-buffer) إلى إنتاج صورة تحتوي على خصائص في كل بكسل، والتي تُفسَّر بواسطة شبكة عصبية صغيرة تعتمد على الزاوية (view-dependent MLP) تعمل داخل شرائح التجزئة (fragment shader) لإنتاج اللون النهائي لكل بكسل. يمكّن هذا النهج من عرض NeRF باستخدام خط أنابيب التصيير التقليدي للمضلعات، الذي يوفر توازيًا على مستوى البكسل بشكل كبير، ويحقق معدلات إطار تفاعلية على مجموعة واسعة من منصات الحوسبة، بما في ذلك الهواتف المحمولة.