واحد هو الجميع: جسر الفجوة بين هياكل الحقول الإشعاعية العصبية باستخدام التقطير التدرجي للحجم

أثبتت أساليب الحقول الإشعاعية العصبية (NeRF) فعاليتها كتمثيلات مدمجة وعالية الجودة ومتعددة الاستخدامات للمساحات ثلاثية الأبعاد، وتمكّن من إنجاز مهام لاحقة مثل التحرير والاسترجاع والتنقل، وغيرها. تتنافس مجموعة متنوعة من الهياكل العصبية على أن تكون البنية الأساسية لـ NeRF، بما في ذلك مُعَمِّل الطبقات المتعددة البسيط (MLP)، والجُمل النادرة (sparse tensors)، والجُمل من الرتبة المنخفضة (low-rank tensors)، والجداول المُنَظَّمة (hashtables)، وتركيباتها المختلفة. لكل تمثيل من هذه التمثيلات مجموعة خاصة من التنازلات. على سبيل المثال، تتيح التمثيلات القائمة على الجداول المُنَظَّمة تدريبًا وعرضًا أسرع، لكن غياب المعنى الهندسي الواضح يُعيق المهام اللاحقة مثل التحرير المُستنِد إلى العلاقات المكانية. في هذه الورقة، نقترح طريقة التقطير التدريجي للحجم (PVD)، وهي طريقة منهجية للتقطير تسمح بتحويلات أي إلى أي بين هياكل مختلفة، بما في ذلك MLP، والجُمل النادرة أو من الرتبة المنخفضة، والجداول المُنَظَّمة، وتركيباتها. وبذلك، تمكّن PVD التطبيقات اللاحقة من تكييف التمثيلات العصبية بشكل مثالي وفقًا للمهمة المطلوبة، بطريقة ما بعد التدريب (post hoc). وتكون التحويلات سريعة، لأن عملية التقطير تُنفَّذ تدريجيًا على مستويات مختلفة من تمثيلات الحجم، من الأ浅 إلى الأعمق. كما نستخدم معالجة خاصة للكثافة لمعالجة مشكلة عدم الاستقرار العددي المميزة لها. ونقدّم أدلة تجريبية تؤكد فعالية طريقة PVD على مجموعات بيانات NeRF-Synthetic وLLFF وTanksAndTemples. على سبيل المثال، باستخدام PVD، يمكن تقطير نموذج NeRF مبني على MLP من نموذج Instant-NGP القائم على الجداول المُنَظَّمة بسرعة تصل إلى 10 إلى 20 مرة أسرع من تدريب نموذج NeRF الأصلي من الصفر، مع تحقيق جودة توليدية أفضل. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/megvii-research/AAAI2023-PVD.