FPGA: Schnelles patchfreies globales Lernframework für die vollständig end-to-end hyperspektrale Bildklassifikation

Deep Learning-Techniken haben erhebliche Fortschritte bei der Klassifizierung hyperspektraler Bilder (HSI) ermöglicht. Aktuelle auf Deep Learning basierende HSI-Klassifizierer folgen einem patchbasierten Lernframework, bei dem das Bild in überlappende Patchs unterteilt wird. Daher handelt es sich bei diesen Methoden um lokale Lernansätze, die mit einem hohen Rechenaufwand verbunden sind. In diesem Artikel wird ein schnelles, patchfreies globales Lernframework (FPGA, Fast Patch-Free Global Learning) für die HSI-Klassifizierung vorgestellt. Im FPGA-Frame wird ein encoder-decoder-basierter FCN (Fully Convolutional Network) eingesetzt, um die globale räumliche Information durch die Verarbeitung des gesamten Bildes zu berücksichtigen, was eine schnelle Inferenz ermöglicht. Es ist jedoch schwierig, den encoder-decoder-basierten FCN direkt für die HSI-Klassifizierung zu nutzen, da er aufgrund der unzureichend vielfältigen Gradienten infolge begrenzter Trainingsdaten häufig nicht konvergiert. Um dieses Konvergenzproblem zu lösen und gleichzeitig die Vorteile des FCN – nämlich schnelle Inferenz und die Fähigkeit zur Ausnutzung globaler räumlicher Informationen – zu bewahren, wird erstmals eine globale stochastische geschichtete Stichprobenstrategie vorgeschlagen, bei der alle Trainingsbeispiele in eine stochastische Folge geschichteter Stichproben transformiert werden. Diese Strategie ermöglicht vielfältige Gradienten und garantiert die Konvergenz des FCN im FPGA-Framework. Zur besseren Architekturgestaltung eines FCN wird FreeNet vorgestellt – ein vollständig end-to-end Netzwerk für die HSI-Klassifizierung –, das die Ausnutzung globaler räumlicher Informationen maximiert und die Leistung durch einen spektral-orientierten Aufmerksamkeits-Encoder und einen leichtgewichtigen Decoder steigert. Zudem wird ein lateraler Verbindungsmodul entworfen, das Encoder und Decoder verbindet und die räumlichen Details aus dem Encoder mit den semantischen Merkmalen aus dem Decoder fusioniert. Die experimentellen Ergebnisse an drei öffentlichen Benchmark-Datensätzen zeigen, dass das FPGA-Framework sowohl in Bezug auf Geschwindigkeit als auch Genauigkeit dem patchbasierten Framework bei der HSI-Klassifizierung überlegen ist. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/Z-Zheng/FreeNet.