Ruofan Liang Kai He Zan Gojcic Igor Gilitschenski Sanja Fidler Nandita Vijaykumar Zian Wang

الملخص

يظل تقدير إضاءة المشهد من صورة واحدة أو فيديو تحدياً مستمراً في مجال الرؤية الحاسوبية والرسم الحاسوبي. تُعاني النماذج القائمة على التعلم من ندرة خرائط البيئة عالية الدقة (HDR) الواقعية، التي يصعب اكتسابها وتنقص تنوعها. وعلى الرغم من القوة التي تقدمها النماذج التوليدية الحديثة في توليد الصور، يظل تقدير الإضاءة صعباً نظراً لاعتماده على أدلة بصرية غير مباشرة، وضرورة استخلاص السياق العالمي (غير المحلي)، بالإضافة إلى استرجاع مخرجات عالية النطاق الديناميكي. نقترح نموذجاً جديداً يُدعى LuxDiT، وهو منهجية قائمة على البيانات تُعدّل نموذج التحويل التدرّجي للفيديوهات لتوليد خرائط بيئية عالية الدقة (HDR) استناداً إلى المدخلات البصرية. وقد تم تدريب النموذج على مجموعة بيانات اصطناعية كبيرة تضم شروطاً إضاءة متنوعة، مما يمكّنه من استخلاص الإضاءة من أدلة بصرية غير مباشرة، ويعمل بشكل فعّال على تمديد التعميم إلى المشاهد الواقعية. ولتحسين التوافق الدلالي بين المدخلات والخريطة البيئية المتنبأة بها، نقدّم استراتيجية لتحسين التكيف ذات الرتبة المنخفضة باستخدام مجموعة بيانات تم جمعها من صور بانورامية عالية الدقة (HDR). ويُنتج نهجنا تنبؤات دقيقة بالإضاءة، مع تفاصيل عالية التردد الزاوية واقعية، ويتفوّق على التقنيات الرائدة الحالية من حيث التقييم الكمي والكيفي.