Hierarchisches Regressionsnetzwerk zur Spektralrekonstruktion aus RGB-Bildern

Die Aufnahme visueller Bilder mit einer Hyperspektralkamera hat aufgrund ihrer engbandigen Bildgebungstechnologie erfolgreich in vielen Bereichen Anwendung gefunden. Die Hyperspektralrekonstruktion aus RGB-Bildern beschreibt einen Rückwärtsprozess der Hyperspektralabbildung, bei dem eine inverse Antwortfunktion ermittelt wird. Aktuelle Ansätze karten RGB-Bilder meist direkt auf die entsprechenden Spektren ab, berücksichtigen jedoch kontextuelle Informationen nicht explizit. Zudem führt der Einsatz von Encoder-Decoder-Paaren in derzeitigen Algorithmen zu Informationsverlusten. Um diese Probleme zu lösen, schlagen wir ein vierstufiges hierarchisches Regressionsnetzwerk (HRNet) mit einer PixelShuffle-Schicht zur Interaktion zwischen den Ebenen vor. Darüber hinaus integrieren wir einen residualen dichten Block, um Artefakte realwelttypischer RGB-Bilder zu reduzieren, sowie einen residualen globalen Block, um eine Aufmerksamkeitsmechanik zu etablieren und den Wahrnehmungsfeldbereich zu erweitern. Wir evaluieren das vorgeschlagene HRNet im Rahmen der NTIRE 2020 Challenge zum Spektralrekonstruktionsverfahren aus RGB-Bildern und vergleichen es mit anderen Architekturen und Techniken. Das HRNet erzielte den Sieg in Track 2 (realwelttypische Bilder) und belegte den dritten Platz in Track 1 (reine Bilder). Weitere Informationen sowie den Zugang zu unserem Quellcode und vortrainierten Modellen finden Sie auf der Projekt-Webseite: https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images.