من NeRFLiX إلى NeRFLiX++: منهجية عامة لاسترجاع غير مُعتمد على NeRF

أظهرت الحقول الإشعاعية العصبية (NeRF) نجاحًا كبيرًا في توليد مناظر جديدة. ومع ذلك، ما زال استرداد التفاصيل عالية الجودة من المشاهد الواقعية أمرًا صعبًا بالنسبة للنهج القائمة على NeRF، نظرًا لوجود معلومات تهيئة غير مثالية محتملة ودقة تمثيل المشهد غير دقيقة. حتى مع استخدام إطارات تدريب عالية الجودة، ما زال مناظر التوليد الجديدة الناتجة عن نماذج NeRF تعاني من عيوب توليد بارزة، مثل الضوضاء والضبابية. لمعالجة هذه المشكلة، نقترح نموذج NeRFLiX، وهو إطار عام لاستعادة الصور لا يعتمد على NeRF، يتعلم مزيجًا بين وجهات النظر مُحفَّزًا بالتشويه. بشكل خاص، قمنا بتصميم نموذج تشويه يشبه NeRF، وبناء بيانات تدريب على نطاق واسع، مما يتيح إمكانية إزالة فعالة لعيوب التوليد المميزة لـ NeRF بواسطة الشبكات العصبية العميقة. علاوةً على ذلك، وبالإضافة إلى إزالة التشويه، نقترح إطارًا لدمج مناظر بين وجهات النظر يُدمج الصور عالية الجودة ذات الصلة بشكل كبير، ما يدفع أداء النماذج المتطورة من نوع NeRF إلى مستويات جديدة تمامًا، ويُنتج مناظر توليدية واقعية جدًا بصريًا. بناءً على هذا النموذج، نقدّم أيضًا NeRFLiX++، الذي يمتلك مُحاكي تشويه NeRF ثنائي المرحلة الأقوى، ومزيجًا بين وجهات النظر الأسرع، ويحقق أداءً متفوقًا مع كفاءة حسابية محسّنة بشكل كبير. وتجدر الإشارة إلى أن NeRFLiX++ قادر على استعادة نتائج عالية الدقة فائقة الوضوح وواقعية صورية من مناظر توليدية مُشَوَّهة منخفضة الدقة ناتجة عن NeRF. تُظهر التجارب الواسعة القدرة الممتازة لـ NeRFLiX++ على استعادة الصور في مختلف معايير توليد المناظر الجديدة.