HighRes-net: الاندماج التكراري للتحليق متعدد الإطارات لصور الأقمار الصناعية

التعلم العميق التوليدي قد أثار موجة جديدة من خوارزميات التحسين الفائق (Super-Resolution - SR) التي تحسن الصور الفردية بنتائج جمالية مثيرة للإعجاب، رغم وجود تفاصيل وهمية. أما التحسين الفائق متعدد الإطارات (Multi-frame Super-Resolution - MFSR) فيقدم نهجًا أكثر ثباتًا لهذه المشكلة غير المحددة بشكل جيد، وذلك من خلال الاعتماد على عدة مشاهد ذات دقة منخفضة. هذا مهم لمراقبة الأقمار الصناعية لتأثير الإنسان على الكوكب -- سواء كان ذلك من خلال قطع الغابات أو انتهاكات حقوق الإنسان -- حيث تعتمد هذه المراقبة على صور موثوقة.لتحقيق هذا الهدف، نقدم HighRes-net، وهو أول نهج يستخدم التعلم العميق للتحسين الفائق متعدد الإطارات يتعلم مهامه الفرعية بطريقة شاملة من النهاية إلى النهاية: (i) إعادة التسجيل المشترك، (ii) الدمج، (iii) زيادة الدقة، و (iv) إعادة التسجيل في الخسارة. يتم تعلم إعادة التسجيل المشترك للمشاهد ذات الدقة المنخفضة بشكل ضمني عبر قناة الإطار المرجعي، دون الحاجة إلى آلية تسجيل صريحة. نتعلم مشغل دمج عالمي يتم تطبيقه بشكل متكرر على عدد غير محدد من أزواج المشاهد ذات الدقة المنخفضة. نقدم خسارة مرتبطة بالتسجيل عن طريق تعلم كيفية تنسيق إخراج SR مع الحقيقة الأرضية باستخدام ShiftNet. نوضح أن بإمكاننا تحقيق تحسين فائق للإشارات ذات الدقة المنخفضة وتعزيز بيانات المراقبة الأرضية على نطاق واسع من خلال تعلم تمثيلات عميقة لمجموعة من المشاهد.نهجنا حاز مؤخرًا على المركز الأول في مسابقة MFSR التي نظمتها وكالة الفضاء الأوروبية (European Space Agency) على صور الأقمار الصناعية الحقيقية.