التحسين المُشَدَّد للصورة باستخدام التعلم العميق غير المُراقب مع الاحتفاظ المُحسَّن المشترك بالولادة الطيفية والمكانية

في السنوات الأخيرة، اكتسب التعلم العميق دورًا رائدًا في مجال دمج الصور متعددة الدقة (pansharpening). نظرًا لعدم توفر بيانات حقيقية (ground truth)، تُجرى معظم الطرق القائمة على التعلم العميق تدريبًا مراقبًا في مجال الدقة المنخفضة (reduced-resolution). ومع ذلك، تُظهر النماذج المدربة على الصور المُقلّصة أداءً ضعيفًا عند تطبيقها على الصور عالية الدقة المستهدفة. ولذلك، يتجه حاليًا عدد من المجموعات البحثية نحو التدريب غير المراقب في المجال عالي الدقة (full-resolution domain)، وذلك من خلال تعريف دوال خسارة مناسبة ونهج تدريب فعّال. وفي هذا السياق، قمنا سابقًا بطرح إطار تدريب عالي الدقة يمكن تطبيقه على العديد من المعماريات الحالية.وفي هذا العمل، نقترح نموذجًا جديدًا لدمج الصور القائم على التعلم العميق، يُستغل فيه بالكامل إمكانات هذا النهج، ويُقدّم أداءً متميزًا على مستوى الحد الأقصى من التطور. إلى جانب التحسينات المعمارية مقارنة بالعمل السابق، مثل استخدام وحدات الانتباه المتبقية (residual attention modules)، يتميز النموذج المُقترح بدالة خسارة جديدة تُعزز بشكل مشترك الجودة الطيفية (spectral) والجودة المكانية (spatial) للبيانات المدمجة. علاوةً على ذلك، وبفضل استراتيجية جديدة للضبط الدقيق (fine-tuning)، يُحسّن النموذج القدرة على التكيف أثناء عملية الاستنتاج (inference-time adaptation) مع الصور المستهدفة. وقد أظهرت التجارب التي أُجريت على مجموعة واسعة من صور الاختبار، في سياقات صعبة، أن الطريقة المقترحة تتفوّق على أحدث الطرق المنشورة من حيث النتائج العددية والجودة البصرية. يُمكن الوصول إلى الكود المصدري عبر الرابط التالي: https://github.com/matciotola/Lambda-PNN.