Command Palette
Search for a command to run...
HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion
HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion
Samira E. Kahou Vincent Michalski Julien Cornebise Israel Goytom Yoshua Bengio Michel Deudon Kris Sankaran Zhichao Lin Md Rifat Arefin Alfredo Kalaitzis
Zusammenfassung
Generative Deep Learning hat eine neue Welle von Super-Resolution-(SR)-Algorithmen ausgelöst, die einzelne Bilder mit beeindruckenden ästhetischen Ergebnissen verbessern, wobei jedoch imaginäre Details hinzugefügt werden. Die Multi-Frame-Super-Resolution (MFSR) bietet einen fundierteren Ansatz für das schlecht gestellte Problem, indem sie auf mehreren Niedrigauflösungsansichten basiert. Dies ist besonders wichtig für die Satellitenüberwachung menschlicher Einflüsse auf den Planeten – von Abholzung bis hin zu Menschenrechtsverletzungen –, die auf zuverlässige Bilddaten angewiesen sind. Hierzu präsentieren wir HighRes-net, den ersten Deep-Learning-Ansatz zur MFSR, der seine Teilaufgaben end-to-end lernt: (i) Ko-Registrierung, (ii) Fusion, (iii) Up-Sampling und (iv) Registrierung im Verlust. Die Ko-Registrierung der Niedrigauflösungsansichten wird implizit über einen Referenzbildkanal gelernt, ohne explizite Registrierungsmechanismen. Wir lernen einen globalen Fusionsoperator, der rekursiv auf eine beliebige Anzahl von Niedrigauflösungs-Paaren angewendet wird. Wir führen einen registrierten Verlust ein, indem wir lernen, die SR-Ausgabe durch ShiftNet an ein Referenzbild auszurichten. Wir zeigen, dass durch das Lernen tiefer Darstellungen mehrerer Ansichten niedrigauflösende Signale super-resolviert und Erdbeobachtungsdaten skalierbar verbessert werden können. Unser Ansatz erreichte kürzlich die Spitzenposition im MFSR-Wettbewerb der Europäischen Weltraumorganisation (ESA) auf realen Satellitenbildern.