Sem2NeRF: تحويل أقنعة المعنى من وجهة نظر واحدة إلى حقول الإشعاع العصبية

ترجمة الصور وتحريرها حظيت باهتمام متزايد مع التطور السريع للنماذج التوليدية العميقة. رغم أن الأساليب الحالية قد حققت نتائج مثيرة للإعجاب، إلا أنها عملت بشكل أساسي في الفضاء ثنائي الأبعاد. وفي ضوء التقدم الحديث في النماذج التوليدية الواعية بالبعد الثالث المستندة إلى NeRF (التمثيل الإشعاعي العصبي)، نقدم مهمة جديدة تسمى "الترجمة من الدلالة إلى NeRF"، والتي تهدف إلى إعادة بناء نموذج مشهد ثلاثي الأبعاد تم تصميمه باستخدام NeRF، بشرط وجود قناع دلالي واحد من زاوية واحدة كمدخل. لبدء هذه المهمة الجديدة، نقترح إطار العمل Sem2NeRF. وبشكل خاص، يعالج Sem2NeRF المهمة الصعبة للغاية من خلال ترميز القناع الدلالي في الرمز الكامن الذي يتحكم في تمثيل المشهد الثلاثي الأبعاد لمُفكِّك تم تدريبه مسبقًا. لتحسين دقة الخرائط بشكل أكبر، ندمج استراتيجية تعلم واعية بالمنطقة في تصميم كل من المُشفِّر والمُفكِّك. نتحقق من فعالية Sem2NeRF المقترح ونبين أنه يتفوق على عدة أسس قوية في مجموعتي بيانات معياريتين. يمكن الوصول إلى الشفرة والفيديو عبر الرابط: https://donydchen.github.io/sem2nerf/