إطار عمل سريع قائم على شبكة عصبية متعددة الطبقات مُعدّل حسب الهدف وعالي الدقة للاندماج بين الصور الفوتوغرافية

في السنوات الأخيرة، شهدت تقنيات دمج البيانات اهتمامًا متجدّدًا، وبشكل خاص تقنية "الاندماج المُعزّز" (pansharpening)، وذلك نتيجة لتحول جوهري من النماذج القائمة على النماذج إلى النماذج القائمة على البيانات، مدعومة بالتقدم الأخير في التعلم العميق. وعلى الرغم من التصميم الواسع لشبكات الشبكات العصبية التلافيفية (CNN) لمعالجة الاندماج المُعزّز، تبقى بعض القضايا الجوهرية دون إجابة. ومن بين هذه القضايا، تمثّل قدرة التعميم عبر المقياس (cross-scale) وعبر المجموعات المختلفة للبيانات (cross-datasets) على الأرجح أكثر القضايا إلحاحًا، نظرًا لأن معظم الشبكات الحالية تُدرّب على مقاييس مُختصرة (بمدى تفاصيل منخفض)، وبشكل عام تكون مُناسبة جدًا لمجموعة بيانات معينة ولكنها تفشل في الأداء على أخرى. وقد سعى جهد حديث حديث لمعالجة هاتين المشكلتين باستخدام نموذج استنتاج مُتكيف مع الهدف، يعمل مع دالة خسارة مناسبة بحلقة كاملة (full-resolution). لكن من عيوب هذا النهج هو التكلفة الحسابية الإضافية الناتجة عن مرحلة التكييف. في هذه الدراسة، نقترح نسخة معدلة من هذا الأسلوب، تتميز بخطة تكييف فعّالة تسمح بتقليل زمن الاستنتاج بمقدار عشرة أضعاف في المتوسط، دون التضحية بالدقة. وقد أثبتت مجموعة واسعة من التجارب التي أُجريت على ثلاث مجموعات بيانات مختلفة—GeoEye-1 وWorldView-2 وWorldView-3—الربح الحسابي المحقق، مع الحفاظ على أفضل النتائج الدقيقة مقارنة بالأساليب المُتقدمة حاليًا، سواء كانت قائمة على النماذج أو تعتمد على التعلم العميق. كما تم التحقق من عامة الحل المقترح من خلال تطبيق الإطار الجديد للتكييف على نماذج مختلفة من الشبكات العصبية التلافيفية.