HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion

{Samira E. Kahou Vincent Michalski Julien Cornebise Israel Goytom Yoshua Bengio Michel Deudon Kris Sankaran Zhichao Lin Md Rifat Arefin Alfredo Kalaitzis}

HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion

Abstract

Generative Deep Learning hat eine neue Welle von Super-Resolution-(SR)-Algorithmen ausgelöst, die einzelne Bilder mit beeindruckenden ästhetischen Ergebnissen verbessern, wobei jedoch imaginäre Details hinzugefügt werden. Die Multi-Frame-Super-Resolution (MFSR) bietet einen fundierteren Ansatz für das schlecht gestellte Problem, indem sie auf mehreren Niedrigauflösungsansichten basiert. Dies ist besonders wichtig für die Satellitenüberwachung menschlicher Einflüsse auf den Planeten – von Abholzung bis hin zu Menschenrechtsverletzungen –, die auf zuverlässige Bilddaten angewiesen sind. Hierzu präsentieren wir HighRes-net, den ersten Deep-Learning-Ansatz zur MFSR, der seine Teilaufgaben end-to-end lernt: (i) Ko-Registrierung, (ii) Fusion, (iii) Up-Sampling und (iv) Registrierung im Verlust. Die Ko-Registrierung der Niedrigauflösungsansichten wird implizit über einen Referenzbildkanal gelernt, ohne explizite Registrierungsmechanismen. Wir lernen einen globalen Fusionsoperator, der rekursiv auf eine beliebige Anzahl von Niedrigauflösungs-Paaren angewendet wird. Wir führen einen registrierten Verlust ein, indem wir lernen, die SR-Ausgabe durch ShiftNet an ein Referenzbild auszurichten. Wir zeigen, dass durch das Lernen tiefer Darstellungen mehrerer Ansichten niedrigauflösende Signale super-resolviert und Erdbeobachtungsdaten skalierbar verbessert werden können. Unser Ansatz erreichte kürzlich die Spitzenposition im MFSR-Wettbewerb der Europäischen Weltraumorganisation (ESA) auf realen Satellitenbildern.

Benchmarks

BenchmarkMethodikMetriken
multi-frame-super-resolution-on-proba-vHighRes-net
Normalized cPSNR: 0.947388637793901

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HighRes-net: Multi-Frame Super-Resolution durch rekursive Fusion | Forschungsarbeiten | HyperAI