TR-MISR: Mehrbild-Superauflösung basierend auf Merkmalsfusion mit Transformers

Multiimage-Super-Resolution (MISR), eine der vielversprechendsten Richtungen im Bereich der Fernerkundung, ist inzwischen eine nachgefragte Technik am Satellitenmarkt geworden. Eine Sequenz von von Satelliten aufgenommenen Bildern weist oft zahlreiche Perspektiven und einen langen zeitlichen Abstand auf, weshalb die Integration mehrerer Niedrigauflösungs-Bilder zu einem hochauflösenden Bild mit detaillierten Informationen zu einem herausfordernden Problem wird. Allerdings können die meisten auf Deep Learning basierenden MISR-Methoden die Mehrfachbilder nicht optimal nutzen. Ihre Fusionsmodule sind nicht gut geeignet, um Bildsequenzen mit schwachen zeitlichen Korrelationen angemessen zu verarbeiten. Um diese Probleme zu lösen, schlagen wir einen neuartigen end-to-end-Framework namens TR-MISR vor. Er besteht aus drei Komponenten: einem Encoder auf Basis von Residual-Blöcken, einem transformerbasierten Fusionsmodul und einem Decoder auf Basis von Subpixel-Konvolution. Insbesondere ermöglicht das Fusionsmodul durch Umordnung mehrerer Feature-Maps zu Vektoren, gleichzeitig dynamische Aufmerksamkeit für dasselbe Gebiet verschiedener Satellitenbilder zuzuweisen. Darüber hinaus integriert TR-MISR einen zusätzlichen lernbaren Embedding-Vektor, der diese Vektoren fusioniert, um die Details in höchstmöglichem Maße wiederherzustellen. TR-MISR setzt erstmals erfolgreich den Transformer in MISR-Aufgaben ein und verringert signifikant die Trainingskomplexität des Transformers, indem er die räumlichen Beziehungen zwischen Bildpatches ignoriert. Umfangreiche Experimente am PROBA-V-Kelvin-Datensatz belegen die Überlegenheit des vorgeschlagenen Modells und stellen eine effektive Methode für den Einsatz von Transformers in anderen Aufgaben des Low-Level-Vision-Bereichs dar.