DIDFuse: Deep Image Decomposition für die Fusion von Infrarot- und Sichtbare-Bildern

Die Fusion von Infrarot- und sichtbaren Bildern ist ein aktuelles Forschungsthema im Bereich der Bildverarbeitung und zielt darauf ab, verschmolzene Bilder zu erzeugen, die die Vorteile der Quellbilder beibehalten. In diesem Artikel wird ein neuartiges Autoencoder-basiertes Fusion-Netzwerk vorgestellt. Der zentrale Ansatz besteht darin, dass der Encoder ein Bild in Hintergrund- und Detailmerkmalkarten mit jeweils nieder- und hochfrequenten Informationen zerlegt, während der Decoder das ursprüngliche Bild rekonstruiert. Dazu wird eine Verlustfunktion definiert, die dafür sorgt, dass die Hintergrundmerkmale der Quellbilder ähnlich und die Detailmerkmale voneinander unterschiedlich sind. Im Testphase werden die Hintergrund- und Detailmerkmalkarten jeweils über ein Fusionsmodul verschmolzen, und das resultierende Bild wird durch den Decoder rekonstruiert. Qualitative und quantitative Ergebnisse zeigen, dass unsere Methode Fusionsergebnisse erzeugt, die hervorgehobene Ziele und reichhaltige Detailtexturinformationen enthalten, gleichzeitig jedoch eine starke Robustheit aufweist und die derzeit besten Ansätze (SOTA) übertroffen wird.