HSI-BERT: Hyperspektrale Bildklassifikation mithilfe der bidirektionalen Encoder-Repräsentation aus Transformers

Deep-Learning-Verfahren werden weitgehend in der Klassifikation hyperspektraler Bilder eingesetzt und haben bereits Stand der Technik-Leistungen erzielt. Dennoch sind die bestehenden Deep-Learning-Methoden durch eine begrenzte Rezeptivfläche, geringe Flexibilität sowie Schwierigkeiten bei der Generalisierbarkeit bei der Klassifikation hyperspektraler Bilder eingeschränkt. Um diese Probleme zu lösen, stellen wir HSI-BERT vor, wobei BERT für bidirektionale Encoder-Repräsentationen aus Transformers steht und HSI für hyperspektrale Bildgebung steht. Das vorgeschlagene HSI-BERT verfügt über eine globale Rezeptivfläche, die die globale Abhängigkeit zwischen Pixeln unabhängig von ihrem räumlichen Abstand erfassen kann. HSI-BERT ist äußerst flexibel und ermöglicht flexible und dynamische Eingabebereiche. Darüber hinaus weist HSI-BERT eine hervorragende Generalisierungsfähigkeit auf, da das gemeinsam trainierte HSI-BERT von Bereichen unterschiedlicher Form ohne erneutes Training generalisiert werden kann. HSI-BERT basiert hauptsächlich auf einem Multihead-Self-Attention (MHSA)-Mechanismus innerhalb einer MHSA-Schicht. Zudem werden durch verschiedene Köpfe mehrere Aufmerksamkeitsmuster gelernt, wobei jeder Kopf der MHSA-Schicht eine semantisch kontextbewusste Repräsentation kodiert, um diskriminative Merkmale zu erzeugen. Da alle durch die Köpfe kodierten Merkmale zusammengeführt werden, zeigen die resultierenden Merkmale eine entscheidende Kombination aus räumlichen und spektralen Informationen, die für eine präzise pixelbasierte Klassifikation notwendig sind. Quantitative und qualitative Ergebnisse zeigen, dass HSI-BERT jede andere CNN-basierte Modellarchitektur hinsichtlich Klassifikationsgenauigkeit und Rechenzeit übertrifft und auf drei weit verbreiteten Datensätzen hyperspektraler Bilder Stand der Technik-Leistungen erzielt.