HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion
{Samira E. Kahou Vincent Michalski Julien Cornebise Israel Goytom Yoshua Bengio Michel Deudon Kris Sankaran Zhichao Lin Md Rifat Arefin Alfredo Kalaitzis}

Abstract
Generative Deep Learning hat eine neue Welle von Super-Resolution-(SR)-Algorithmen ausgelöst, die einzelne Bilder mit beeindruckenden ästhetischen Ergebnissen verbessern, wobei jedoch imaginäre Details hinzugefügt werden. Die Multi-Frame-Super-Resolution (MFSR) bietet einen fundierteren Ansatz für das schlecht gestellte Problem, indem sie auf mehreren Niedrigauflösungsansichten basiert. Dies ist besonders wichtig für die Satellitenüberwachung menschlicher Einflüsse auf den Planeten – von Abholzung bis hin zu Menschenrechtsverletzungen –, die auf zuverlässige Bilddaten angewiesen sind. Hierzu präsentieren wir HighRes-net, den ersten Deep-Learning-Ansatz zur MFSR, der seine Teilaufgaben end-to-end lernt: (i) Ko-Registrierung, (ii) Fusion, (iii) Up-Sampling und (iv) Registrierung im Verlust. Die Ko-Registrierung der Niedrigauflösungsansichten wird implizit über einen Referenzbildkanal gelernt, ohne explizite Registrierungsmechanismen. Wir lernen einen globalen Fusionsoperator, der rekursiv auf eine beliebige Anzahl von Niedrigauflösungs-Paaren angewendet wird. Wir führen einen registrierten Verlust ein, indem wir lernen, die SR-Ausgabe durch ShiftNet an ein Referenzbild auszurichten. Wir zeigen, dass durch das Lernen tiefer Darstellungen mehrerer Ansichten niedrigauflösende Signale super-resolviert und Erdbeobachtungsdaten skalierbar verbessert werden können. Unser Ansatz erreichte kürzlich die Spitzenposition im MFSR-Wettbewerb der Europäischen Weltraumorganisation (ESA) auf realen Satellitenbildern.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| multi-frame-super-resolution-on-proba-v | HighRes-net | Normalized cPSNR: 0.947388637793901 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.