HyperAIHyperAI

Command Palette

Search for a command to run...

شبكات تجميع كثيفة مُلهمة بالفيزياء للإضاءة المُعادَة

Amirsaeed Yazdani Tiantong Guo Vishal Monga

الملخص

أصبحت إعادة الإضاءة للصور مشكلة ذات اهتمام بحثي كبير، مستوحاة من تطبيقات الواقع المعزز. تم تطوير أساليب تقليدية قائمة على الفيزياء، وكذلك نماذج تعلم عميق "مغلقة الصندوق". وقد استغلت الشبكات العصبية العميقة التدريب لتحقيق حالة متقدمة جديدة؛ ومع ذلك، قد تؤدي إلى أداء ضعيف عندما يكون التدريب محدودًا أو لا يمثل ظواهر المشكلة بدقة، مثل إضافة أو إزالة الظلال الكثيفة. نقترح نموذجًا يُثري الشبكات العصبية بالفهم الفيزيائي. وبشكل أكثر دقة، تُولِّد طريقة عملنا صورة معاد إضاءتها بظروف إضاءة جديدة من خلال استراتيجيتين مختلفتين، ثم تُدمج النتيجتان باستخدام خريطة وزن (w). في الاستراتيجية الأولى، يتنبأ النموذج بمعاملات انعكاس المواد (الألbedo) ومعاملات الإضاءة/الهندسة للصورة المعاد إضاءتها (التي نسميها تحليل الصورة الداخلية (IID)). أما الاستراتيجية الثانية، فهي تعتمد بالكامل على النهج "المغلق الصندوق"، حيث يقوم النموذج بتحسين أوزانه بناءً على الصور الحقيقية (ground-truth) وحدود الخسارة أثناء مرحلة التدريب، ثم يُنتج الصورة المعاد إضاءتها مباشرةً (ونسمي هذه الاستراتيجية "الاستراتيجية المباشرة"). على الرغم من أن الطريقة المقترحة تنطبق على مشكلتي إعادة الإضاءة "واحد إلى واحد" و"أي إلى أي"، فإننا نُدخل مكونات مخصصة لكل حالة لتعزيز أداء النموذج: 1) بالنسبة لإعادة الإضاءة "واحد إلى واحد"، نُدمج متجهات العمودية للسطوح في المشهد لضبط اللمعان والظلال بشكل مناسب في الصورة. 2) بالنسبة لإعادة الإضاءة "أي إلى أي"، نقترح إضافة كتلة متعددة المقياس إلى البنية لتحسين استخراج الميزات. أظهرت النتائج التجريبية على مجموعتي بيانات VIDIT 2020 و VIDIT 2021 (اللتين استُخدِما في تحدي إعادة الإضاءة NTIRE 2021) أن اقتراحنا يتفوق على العديد من الطرق المتطورة من حيث مقاييس الولاء المعروفة وفقدان الإدراك.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
شبكات تجميع كثيفة مُلهمة بالفيزياء للإضاءة المُعادَة | مستندات | HyperAI