HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

HighRes-net : Résolution super-résolue multi-images par fusion récursive

{Samira E. Kahou Vincent Michalski Julien Cornebise Israel Goytom Yoshua Bengio Michel Deudon Kris Sankaran Zhichao Lin Md Rifat Arefin Alfredo Kalaitzis}

HighRes-net : Résolution super-résolue multi-images par fusion récursive

Résumé

L’apprentissage profond génératif a déclenché une nouvelle vague d’algorithmes de super-résolution (SR) capables d’améliorer des images individuelles avec des résultats esthétiques impressionnants, bien que parfois au prix de détails imaginaires. La super-résolution multi-images (MFSR) propose une approche plus fondée du problème mal posé, en conditionnant la reconstruction sur plusieurs vues à faible résolution. Ce cadre est particulièrement pertinent pour la surveillance satellitaire de l’impact humain sur la planète — qu’il s’agisse de déforestation ou de violations des droits humains — où des images fiables sont essentielles. À cet effet, nous présentons HighRes-net, la première approche d’apprentissage profond pour la MFSR qui apprend ses sous-tâches de manière end-to-end : (i) la co-régistration, (ii) la fusion, (iii) l’up-sampling, et (iv) la régistration au niveau de la fonction de perte. La co-régistration des vues à faible résolution est apprise implicitement via un canal de référence, sans mécanisme explicite de régistration. Nous introduisons un opérateur de fusion globale, appliqué de manière récursive sur un nombre arbitraire de paires à faible résolution. Nous proposons une perte régistrée, en apprenant à aligner la sortie de SR avec une image de référence grâce à ShiftNet. Nous démontrons que, en apprenant des représentations profondes de plusieurs vues, il est possible de super-résoudre des signaux à faible résolution et d’améliorer à grande échelle les données d’observation de la Terre. Notre approche a récemment remporté le concours MFSR de l’Agence spatiale européenne, basé sur des images satellitaires réelles.

Benchmarks

BenchmarkMéthodologieMétriques
multi-frame-super-resolution-on-proba-vHighRes-net
Normalized cPSNR: 0.947388637793901

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
HighRes-net : Résolution super-résolue multi-images par fusion récursive | Articles de recherche | HyperAI