Mip-NeRF 360: مجالات إشعاعية عصبية مُضادة للتحجيم غير محدودة

رغم أن الحقول الإشعاعية العصبية (NeRF) أظهرت نتائج مبهرة في توليد الصور من زوايا مختلفة بالنسبة للأجسام والمناطق المحدودة في الفضاء، إلا أنها تواجه صعوبات في المخططات غير المحدودة (unbounded)، حيث يمكن أن تشير الكاميرا في أي اتجاه، وقد توجد محتويات على أي بعد. في هذا السياق، غالبًا ما تُنتج النماذج المشابهة لـ NeRF الحالية صورًا ضبابية أو ذات دقة منخفضة (نتيجة لتوازن غير متوازن بين التفاصيل والمقاييس بين الكائنات القريبة والبعيدة)، وتتطلب وقتًا طويلاً في التدريب، وقد تُظهر تشوهات ناتجة عن الغموض المتأصّل في المهمة المتمثلة في إعادة بناء مشهد واسع من مجموعة صغيرة من الصور. نقدّم امتدادًا لنموذج mip-NeRF (نوع من نماذج NeRF يعالج مشكلة العينة والتشويش الترددي)، باستخدام مُعاملة غير خطية للمشهد، وتمثيلًا تدرّبيًا مباشرًا (online distillation)، وعاملًا تنشيطيًا جديدًا يعتمد على التشوه (distortion-based regularizer) للتغلب على التحديات الناتجة عن المشاهد غير المحدودة. نُسمّي نموذجنا "mip-NeRF 360"، نظرًا لأننا نستهدف مشاهدًا يدور فيها الكاميرا 360 درجة حول نقطة معينة، وقد قلّل هذا النموذج من متوسط الخطأ التربيعي بنسبة 57% مقارنةً بنموذج mip-NeRF، ويُمكنه إنتاج صور مُولّدة واقعية، وخرائط عمق مفصلة، بالنسبة لمشاهد واقعية معقدة للغاية وغير محدودة.