HighRes-Net: Rekursive Fusion für die Mehrfach-Bildraumvergrößerung von Satellitenbildern

Generatives Deep Learning hat eine neue Welle von Super-Resolution (SR)-Algorithmen ausgelöst, die einzelne Bilder mit beeindruckenden ästhetischen Ergebnissen verbessern, auch wenn diese teilweise imaginäre Details enthalten. Multi-Frame Super-Resolution (MFSR) bietet einen fundierteren Ansatz für das schlecht gestellte Problem, indem es auf mehrere niedrige Auflösungsansichten konditioniert. Dies ist wichtig für die Satellitenaufklärung menschlichen Einflusses auf den Planeten – sei es durch Entwaldung oder Menschenrechtsverletzungen –, die auf verlässliche Bildmaterialien angewiesen sind. Zu diesem Zweck präsentieren wir HighRes-net, den ersten tiefen Lernalgorithmus für MFSR, der seine Teilprobleme in einem end-to-end-Prozess lernt: (i) Ko-Registrierung, (ii) Fusion, (iii) Aufsampling und (iv) Registrierung im Verlustfunktionsschritt. Die Ko-Registrierung der niedrigen Auflösungsansichten wird implizit durch einen Referenzrahmen-Kanal gelernt, ohne ein explizites Registrierungsverfahren. Wir lernen einen globalen Fusionselementator, der rekursiv auf beliebig viele niedrige Auflösungs-Paare angewendet wird. Wir führen einen registrierten Verlust ein, indem wir lernen, die SR-Ausgabe anhand von ShiftNet mit der Ground Truth auszurichten. Wir zeigen, dass durch das Lernen tiefer Repräsentationen mehrerer Ansichten niedrige Auflösungssignale super-auflösend verbessert und Erdbeobachtungsdaten skaliert erhöht werden können. Unser Ansatz hat kürzlich den Wettbewerb der Europäischen Weltraumagentur (European Space Agency) zu MFSR auf realen Satellitenbildern gewonnen.