الاستعادة التدريجية المتعددة المراحل للصورة

تتطلب مهام استرجاع الصور توازنًا معقدًا بين التفاصيل المكانية والمعلومات السياقية عالية المستوى أثناء استعادة الصور. في هذا البحث، نقترح تصميمًا مبتكرًا تكامليًا يمكنه تحقيق التوازن الأمثل بين هذه الأهداف المتنافسة. يكمن اقتراحنا الرئيسي في بنية متعددة المراحل، التي تتعلم تدريجيًا وظائف الاسترجاع للإدخالات المتضررة، مما يُقسم عملية الاسترجاع الشاملة إلى خطوات أكثر قابلية للإدارة. وبشكل خاص، يتعلم نموذجنا في البداية السمات السياقية باستخدام هياكل مشفرة-فكّر (encoder-decoder)، ثم يدمجها لاحقًا مع فرع عالي الدقة يحتفظ بالمعلومات المحلية. وفي كل مرحلة، نُدخل تصميمًا جديدًا يعتمد على التكيف لكل بكسل، يستخدم انتباهًا مُراقبًا مُدمجًا لإعادة توزين السمات المحلية. ويشكل عنصرًا محوريًا في هذه البنية متعددة المراحل هو تبادل المعلومات بين المراحل المختلفة. ولتحقيق ذلك، نقترح نهجًا ثنائي الجوانب، حيث يتم تبادل المعلومات ليس فقط تسلسليًا من المراحل المبكرة إلى المتأخرة، بل توجد أيضًا اتصالات جانبية بين كتل معالجة السمات لتجنب أي فقدان للمعلومات. ويؤدي هذا التصميم المتعدد المراحل المتداخل بإحكام، الذي أطلق عليه اسم MPRNet، إلى تحسينات قوية في الأداء على عشرة مجموعات بيانات تغطي مجموعة متنوعة من المهام، بما في ذلك إزالة المطر من الصور، وإزالة الضبابية، وإزالة الضوضاء. ويتوفر الكود المصدري والنماذج المُدرّبة مسبقًا على الرابط: https://github.com/swz30/MPRNet.