HyperAIHyperAI
منذ 2 أشهر

شبكة الهرم المختلط لاستعادة الصور

Hu Gao; Depeng Dang
شبكة الهرم المختلط لاستعادة الصور
الملخص

إعادة تكوين الصور هي مشكلة رؤية منخفضة المستوى قائمة منذ فترة طويلة، مثل إزالة الضباب وإزالة المطر. خلال عملية إعادة تكوين الصور، من الضروري مراعاة التفاصيل المكانية ومعلومات السياق للترميم لضمان الجودة، بالإضافة إلى تعقيد النظام. رغم أن العديد من الطرق قد تمكنت من ضمان جودة إعادة تكوين الصور، فإن تعقيد النظام في أحدث هذه الطرق (SOTA) يزداد أيضًا. انطلاقًا من هذا الدافع، نقدم شبكة هرمية مختلطة يمكنها الموازنة بين هذه الأهداف المتضاربة. اقتراحنا الرئيسي هو بنية هرمية مختلطة، تعمل على استعادة معلومات السياق والتفاصيل المكانية بشكل تدريجي من الصور المعيبة بينما نصمم الكتل الداخلية لتقليل تعقيد النظام. تحديدًا، يقوم نموذجنا أولاً بتعلم معلومات السياق باستخدام بنى الشفرات-المفككات (encoder-decoder)، ثم يدمجها مع فروع ذات دقة عالية تحتفظ بالتفاصيل المكانية. لتخفيض تعقيد النظام لهذا الهيكل لتسهيل التحليل والمقارنة، نستبدل أو نحذف وظيفة التنشيط اللاخطية بالضرب ونستخدم هيكل شبكة بسيط. بالإضافة إلى ذلك، نستبدل الاختلاف المكاني بالانتباه الذاتي العالمي (global self-attention) في الكتلة الوسطى للشفرات-المفككات. النتيجة هي بنية هرمية متداخلة بإحكام، سميت بـ MHNet، والتي تحقق مكاسب أداء قوية في عدة مهام لإعادة تكوين الصور، بما في ذلك إزالة المطر وإزالة الضباب.

شبكة الهرم المختلط لاستعادة الصور | أحدث الأوراق البحثية | HyperAI