HighRes-net : Fusion récursive pour la super-résolution multi-image des imageries satellites

L'apprentissage profond génératif a suscité une nouvelle vague d'algorithmes de Super-Résolution (SR) qui améliorent les images uniques avec des résultats esthétiques impressionnants, bien que parfois imaginaires. La Super-Résolution multi-image (MFSR) offre une approche plus fondée pour résoudre ce problème mal posé, en s'appuyant sur plusieurs vues à faible résolution. Cela est crucial pour le suivi satellitaire de l'impact humain sur la planète — qu'il s'agisse de déforestation ou de violations des droits de l'homme — qui dépend d'images fiables. À cet égard, nous présentons HighRes-net, la première approche d'apprentissage profond pour la MFSR qui apprend ses sous-tâches de manière end-to-end : (i) co-référencement, (ii) fusion, (iii) agrandissement et (iv) réalignement dans la fonction de perte. Le co-référencement des vues à faible résolution est appris implicitement via un canal de référence, sans mécanisme explicite de réalignment. Nous apprenons un opérateur de fusion global qui est appliqué récursivement à un nombre arbitraire de paires à faible résolution. Nous introduisons une fonction de perte réalignée, en apprenant à aligner la sortie SR sur une vérité terrain grâce au ShiftNet. Nous montrons que, grâce à l'apprentissage de représentations profondes de plusieurs vues, nous pouvons super-résoudre des signaux à faible résolution et améliorer les données d'observation terrestre à grande échelle. Notre approche a récemment remporté la compétition MFSR organisée par l'Agence spatiale européenne sur des images satellites du monde réel.