FPGA : Cadre d'apprentissage global rapide sans patch pour une classification d'images hyperspectrales entièrement end-to-end

Les techniques d'apprentissage profond ont permis des améliorations significatives dans la classification des images hyperspectrales (HSI). Les classificateurs HSI basés sur l'apprentissage profond actuels suivent généralement un cadre d'apprentissage par patch en divisant l'image en patches chevauchants. En conséquence, ces méthodes sont des approches locales, qui présentent un coût computationnel élevé. Dans cet article, un cadre d'apprentissage global sans patch rapide (FPGA, Fast Patch-Free Global Learning) est proposé pour la classification des HSI. Dans FPGA, un réseau FCN basé sur une architecture encodeur-décodeur est utilisé pour prendre en compte les informations spatiales globales en traitant l'image entière, ce qui permet une inférence rapide. Toutefois, il est difficile d'utiliser directement un FCN basé sur encodeur-décodeur pour la classification des HSI, car il échoue souvent à converger en raison de gradients insuffisamment diversifiés causés par un nombre limité d'échantillons d'entraînement. Pour résoudre ce problème de divergence tout en préservant les capacités du FCN en termes d'inférence rapide et d'extraction d'informations spatiales globales, une stratégie originale d'échantillonnage stochastique stratifié est proposée, consistant à transformer tous les échantillons d'entraînement en une séquence stochastique d'échantillons stratifiés. Cette stratégie permet d'obtenir des gradients diversifiés, garantissant ainsi la convergence du FCN dans le cadre FPGA. Pour une conception optimisée de l'architecture FCN, FreeNet — un réseau entièrement end-to-end dédié à la classification des HSI — est introduit afin de maximiser l'exploitation des informations spatiales globales et d'améliorer les performances grâce à un encodeur basé sur une attention spectrale et un décodeur léger. Un module de connexion latérale est également conçu pour relier l'encodeur et le décodeur, fusionnant les détails spatiaux présents dans l'encodeur et les caractéristiques sémantiques extraites par le décodeur. Les résultats expérimentaux obtenus sur trois jeux de données publiques de référence montrent que le cadre FPGA surpasse significativement le cadre par patch en termes de vitesse et de précision pour la classification des HSI. Le code source est disponible à l'adresse suivante : https://github.com/Z-Zheng/FreeNet.