HighRes-net : Résolution super-résolue multi-images par fusion récursive

L’apprentissage profond génératif a déclenché une nouvelle vague d’algorithmes de super-résolution (SR) capables d’améliorer des images individuelles avec des résultats esthétiques impressionnants, bien que parfois au prix de détails imaginaires. La super-résolution multi-images (MFSR) propose une approche plus fondée du problème mal posé, en conditionnant la reconstruction sur plusieurs vues à faible résolution. Ce cadre est particulièrement pertinent pour la surveillance satellitaire de l’impact humain sur la planète — qu’il s’agisse de déforestation ou de violations des droits humains — où des images fiables sont essentielles. À cet effet, nous présentons HighRes-net, la première approche d’apprentissage profond pour la MFSR qui apprend ses sous-tâches de manière end-to-end : (i) la co-régistration, (ii) la fusion, (iii) l’up-sampling, et (iv) la régistration au niveau de la fonction de perte. La co-régistration des vues à faible résolution est apprise implicitement via un canal de référence, sans mécanisme explicite de régistration. Nous introduisons un opérateur de fusion globale, appliqué de manière récursive sur un nombre arbitraire de paires à faible résolution. Nous proposons une perte régistrée, en apprenant à aligner la sortie de SR avec une image de référence grâce à ShiftNet. Nous démontrons que, en apprenant des représentations profondes de plusieurs vues, il est possible de super-résoudre des signaux à faible résolution et d’améliorer à grande échelle les données d’observation de la Terre. Notre approche a récemment remporté le concours MFSR de l’Agence spatiale européenne, basé sur des images satellitaires réelles.