HyperAIHyperAI

Command Palette

Search for a command to run...

HDNet: Hochauflösendes dual-dimensionales Lernen für spektrale komprimierte Bildgebung

Xiaowan Hu Yuanhao Cai Jing Lin Haoqian Wang Xin Yuan Yulun Zhang Radu Timofte Luc Van Gool

Zusammenfassung

Die rasante Entwicklung des Deep Learning bietet eine verbesserte Lösung für die end-to-end-Rekonstruktion hyperspektraler Bilder (HSI). Allerdings weisen bestehende lernbasierte Methoden zwei gravierende Mängel auf. Erstens opfern Netzwerke mit Selbst-Attention oft die interne Auflösung, um das Gleichgewicht zwischen Modellleistung und Komplexität zu wahren, wodurch feinkörnige hochauflösende (HR) Merkmale verloren gehen. Zweitens bleibt selbst dann, wenn die Optimierung, die auf den räumlich-spektralen Lernbereich (SDL) fokussiert ist, zu einer idealen Lösung konvergiert, eine erhebliche visuelle Diskrepanz zwischen dem rekonstruierten HSI und dem Referenzbild bestehen. Daher schlagen wir ein hochauflösendes Dual-Domain-Lernnetzwerk (HDNet) für die HSI-Rekonstruktion vor. Auf der einen Seite liefert das vorgeschlagene HR-räumlich-spektrale Aufmerksamkeitsmodul mit effizienter Merkmalsfusion kontinuierliche und fein granulare pixelbasierte Merkmale. Auf der anderen Seite wird Frequenzbereichslernen (FDL) zur HSI-Rekonstruktion eingeführt, um die Diskrepanz im Frequenzbereich zu verringern. Dynamische FDL-Überwachung zwingt das Modell, feinkörnige Frequenzen rekonstruieren zu lassen und übermäßige Glättung sowie Verzerrungen, die durch pixelbasierte Verlustfunktionen verursacht werden, auszugleichen. Die HR-pixelbasierte Aufmerksamkeit und die Frequenzbereichsverfeinerung in unserem HDNet fördern sich gegenseitig und verbessern die perceptuelle Qualität des HSI signifikant. Umfangreiche quantitative und qualitative Evaluationsexperimente zeigen, dass unsere Methode sowohl auf simulierten als auch auf realen HSI-Datensätzen SOTA-Leistung erzielt. Der Quellcode und die Modelle werden unter https://github.com/caiyuanhao1998/MST veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HDNet: Hochauflösendes dual-dimensionales Lernen für spektrale komprimierte Bildgebung | Paper | HyperAI