HDNet: Hochauflösendes dual-dimensionales Lernen für spektrale komprimierte Bildgebung

Die rasante Entwicklung des Deep Learning bietet eine verbesserte Lösung für die end-to-end-Rekonstruktion hyperspektraler Bilder (HSI). Allerdings weisen bestehende lernbasierte Methoden zwei gravierende Mängel auf. Erstens opfern Netzwerke mit Selbst-Attention oft die interne Auflösung, um das Gleichgewicht zwischen Modellleistung und Komplexität zu wahren, wodurch feinkörnige hochauflösende (HR) Merkmale verloren gehen. Zweitens bleibt selbst dann, wenn die Optimierung, die auf den räumlich-spektralen Lernbereich (SDL) fokussiert ist, zu einer idealen Lösung konvergiert, eine erhebliche visuelle Diskrepanz zwischen dem rekonstruierten HSI und dem Referenzbild bestehen. Daher schlagen wir ein hochauflösendes Dual-Domain-Lernnetzwerk (HDNet) für die HSI-Rekonstruktion vor. Auf der einen Seite liefert das vorgeschlagene HR-räumlich-spektrale Aufmerksamkeitsmodul mit effizienter Merkmalsfusion kontinuierliche und fein granulare pixelbasierte Merkmale. Auf der anderen Seite wird Frequenzbereichslernen (FDL) zur HSI-Rekonstruktion eingeführt, um die Diskrepanz im Frequenzbereich zu verringern. Dynamische FDL-Überwachung zwingt das Modell, feinkörnige Frequenzen rekonstruieren zu lassen und übermäßige Glättung sowie Verzerrungen, die durch pixelbasierte Verlustfunktionen verursacht werden, auszugleichen. Die HR-pixelbasierte Aufmerksamkeit und die Frequenzbereichsverfeinerung in unserem HDNet fördern sich gegenseitig und verbessern die perceptuelle Qualität des HSI signifikant. Umfangreiche quantitative und qualitative Evaluationsexperimente zeigen, dass unsere Methode sowohl auf simulierten als auch auf realen HSI-Datensätzen SOTA-Leistung erzielt. Der Quellcode und die Modelle werden unter https://github.com/caiyuanhao1998/MST veröffentlicht.