NeRFLiX: توليد منظورات عصبية عالية الجودة من خلال تعلّم مُمزج بين المنظورات يُوجهه التدهور

تحقيق حقول الإشعاع العصبي (NeRF) نجاحًا كبيرًا في توليد مناظر جديدة. ومع ذلك، لا يزال استرجاع التفاصيل عالية الجودة من الصور المصدرية في المشاهد الواقعية أمرًا صعبًا بالنسبة للنهج القائمة على NeRF الحالية، وذلك بسبب المعلومات غير المثالية المحتملة في عملية المعايرة ودقة تمثيل المشهد. حتى مع استخدام إطارات تدريب عالية الجودة، تظل المناظر الاصطناعية الناتجة عن نماذج NeRF تعاني من عيوب مرئية بارزة مثل الضوضاء والضبابية، وغيرها. ولتحسين جودة التوليد في النماذج القائمة على NeRF، نقترح "NeRFLiX"، وهي منهجية عامة غير متعلقة بـ NeRF، تعتمد على تعلم مزيج موجه بالتحلل بين وجهات النظر. وتحديدًا، نصمم نموذجًا لعملية التدهور يشبه نموذج NeRF، وننشئ بيانات تدريب على نطاق واسع، مما يتيح إمكانية إزالة فعالة للعيوب المرئية المميزة لنماذج NeRF من قبل الشبكات العصبية العميقة الحالية. علاوةً على ذلك، وبeyond إزالة التدهور، نقترح إطارًا لدمج المناظر المختلفة بين وجهات النظر، قادر على دمج الصور التدريبية عالية الجودة ذات الصلة بشكل كبير، ما يدفع أداء أحدث نماذج NeRF إلى مستويات جديدة تمامًا، ويُنتج مناظر اصطناعية واقعية للغاية من حيث الصورة.