FPGA: 완전한 엔드투엔드 고분광 이미지 분류를 위한 빠른 패치 자유 전역 학습 프레임워크

딥러닝 기법은 고분광 이미지(HSI) 분류 분야에서 상당한 성과를 거두었다. 현재의 딥러닝 기반 HSI 분류기는 이미지를 겹치는 패치로 나누는 패치 기반 학습 프레임워크를 따르고 있다. 이러한 방법들은 국소적 학습 방식을 취하기 때문에 높은 계산 비용을 수반한다. 본 논문에서는 HSI 분류를 위한 빠른 패치 없이 전역 정보를 고려하는 전역 학습(FPGA) 프레임워크를 제안한다. FPGA에서는 전체 이미지를 처리함으로써 전역 공간 정보를 고려할 수 있는 인코더-디코더 기반의 FCN(전결합 네트워크)을 활용하여 추론 속도를 크게 향상시켰다. 그러나 제한된 학습 샘플로 인해 기울기의 다양성이 부족하여, 인코더-디코더 기반 FCN을 직접 HSI 분류에 적용하는 것은 수렴하지 못하는 문제가 있다. 이 수렴 문제를 해결하면서도 FCN의 빠른 추론 및 전역 공간 정보 탐색 능력을 유지하기 위해, 모든 학습 샘플을 확률적 계층 샘플 시퀀스로 변환하는 전역 확률적 계층 샘플링 전략을 최초로 제안한다. 이 전략은 FCN의 수렴을 보장할 수 있는 다양한 기울기를 확보할 수 있다. FCN 아키텍처의 최적 설계를 위해, 스펙트럼 주의 메커니즘 기반 인코더와 경량 디코더를 통해 전역 공간 정보를 극대화하고 성능을 향상시키는 완전한 엔드투엔드 네트워크인 FreeNet을 제안한다. 또한 인코더와 디코더를 연결하는 측면 연결 모듈을 설계하여, 인코더의 공간 세부 정보와 디코더의 의미적 특징을 융합한다. 공개 벤치마크 데이터셋 3종을 이용한 실험 결과, FPGA 프레임워크가 패치 기반 프레임워크에 비해 HSI 분류에서 속도와 정확도 측면에서 모두 우수함을 입증하였다. 코드는 다음 주소에서 공개되어 있다: https://github.com/Z-Zheng/FreeNet.