HighRes-net: تحسين دقة الإطار المتعدد من خلال الدمج المتكرر
لقد أثار التعلم العميق التوليدي موجة جديدة من خوارزميات التكبير الفائق (SR) التي تُحسّن صورًا واحدةً بنتائج جمالية مبهرة، على الرغم من إدخال تفاصيل خيالية. أما التكبير الفائق متعدد الإطارات (MFSR)، فيقدّم نهجًا أكثر واقعية للمشكلة غير المحددة جيدًا، من خلال الاعتماد على رؤى منخفضة الدقة متعددة. ويعتبر هذا أمرًا بالغ الأهمية لمراقبة الأثر البشري على الكوكب من خلال الأقمار الصناعية — بدءًا من إزالة الغابات وانتهاءً بانتهاكات حقوق الإنسان — حيث تعتمد هذه المراقبة على صور موثوقة. ولتحقيق هذا الهدف، نقدّم HighRes-net، أول نهج تعتمد على التعلم العميق للتكبير الفائق متعدد الإطارات يتعلم مهامه الفرعية بطريقة متكاملة (end-to-end): (أ) التوافق المكاني، (ب) الدمج، (ج) التكبير، (د) التوافق أثناء الدالة الخسارة. يتم تعلم التوافق المكاني للإطارات منخفضة الدقة بشكل ضمني من خلال قناة الإطار المرجعي، دون الحاجة إلى آلية توافق صريحة. ونقوم بتعلم عامل دمج عالمي يتم تطبيقه بشكل تكراري على أي عدد من أزواج الإطارات منخفضة الدقة. كما نقدّم دالة خسارة مُنسَّقة، من خلال تعلُّم محاذاة الناتج عالي الدقة مع الصورة الحقيقية عبر شبكة ShiftNet. ونُظهر أنه من خلال تعلُّم تمثيلات عميقة لعدة رؤى، يمكننا تكبير الإشارات منخفضة الدقة وتحسين بيانات المراقبة الأرضية على نطاق واسع. وقد تصدّر نهجنا مؤخرًا مسابقة MFSR التي نظّمتها وكالة الفضاء الأوروبية على صور أقمار صناعية واقعية.