HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion

Generative Deep Learning hat eine neue Welle von Super-Resolution-(SR)-Algorithmen ausgelöst, die einzelne Bilder mit beeindruckenden ästhetischen Ergebnissen verbessern, wobei jedoch imaginäre Details hinzugefügt werden. Die Multi-Frame-Super-Resolution (MFSR) bietet einen fundierteren Ansatz für das schlecht gestellte Problem, indem sie auf mehreren Niedrigauflösungsansichten basiert. Dies ist besonders wichtig für die Satellitenüberwachung menschlicher Einflüsse auf den Planeten – von Abholzung bis hin zu Menschenrechtsverletzungen –, die auf zuverlässige Bilddaten angewiesen sind. Hierzu präsentieren wir HighRes-net, den ersten Deep-Learning-Ansatz zur MFSR, der seine Teilaufgaben end-to-end lernt: (i) Ko-Registrierung, (ii) Fusion, (iii) Up-Sampling und (iv) Registrierung im Verlust. Die Ko-Registrierung der Niedrigauflösungsansichten wird implizit über einen Referenzbildkanal gelernt, ohne explizite Registrierungsmechanismen. Wir lernen einen globalen Fusionsoperator, der rekursiv auf eine beliebige Anzahl von Niedrigauflösungs-Paaren angewendet wird. Wir führen einen registrierten Verlust ein, indem wir lernen, die SR-Ausgabe durch ShiftNet an ein Referenzbild auszurichten. Wir zeigen, dass durch das Lernen tiefer Darstellungen mehrerer Ansichten niedrigauflösende Signale super-resolviert und Erdbeobachtungsdaten skalierbar verbessert werden können. Unser Ansatz erreichte kürzlich die Spitzenposition im MFSR-Wettbewerb der Europäischen Weltraumorganisation (ESA) auf realen Satellitenbildern.