마스크 유도 스펙트럴 웨이즈 트랜스포머를 통한 효율적인 하이퍼스펙트럴 이미지 재구성

고분광 영상(HSI) 복원은 코딩된 아퍼처 스냅샷 스펙트럴 영상(CASSI) 시스템에서 2차원 측정값으로부터 3차원 공간-스펙트럼 신호를 복원하는 것을 목표로 한다. HSI 표현은 스펙트럼 차원에 걸쳐 매우 유사하고 상관관계가 높다. 스펙트럼 간 상호작용을 모델링하는 것은 HSI 복원에 유리하다. 그러나 기존의 CNN 기반 방법들은 스펙트럼 단위 유사성과 장거리 종속성을 효과적으로 포착하지 못하는 한계를 지닌다. 더불어 CASSI 시스템에서 HSI 정보는 코딩된 아퍼처(물리적 마스크)에 의해 조절된다. 그러나 현재의 알고리즘들은 이 마스크가 HSI 복원에 미치는 안내 효과를 충분히 탐색하지 못하고 있다. 본 논문에서는 HSI 복원을 위한 새로운 프레임워크인 마스크 안내 스펙트럼 단위 트랜스포머(Mask-guided Spectral-wise Transformer, MST)를 제안한다. 구체적으로, 각 스펙트럼 특징을 토큰으로 간주하고 스펙트럼 차원을 따라 자기주의(Self-attention)를 계산하는 스펙트럼 단위 멀티헤드 자기주의(Spectral-wise Multi-head Self-Attention, S-MSA)를 제안한다. 또한, S-MSA가 고정밀도 스펙트럼 표현을 가진 공간 영역에 주의를 기울이도록 유도하는 마스크 안내 메커니즘(Mask-guided Mechanism, MM)을 설계하였다. 광범위한 실험 결과, 제안한 MST는 시뮬레이션 및 실측 HSI 데이터셋에서 최신 기술(SOTA) 방법들을 크게 능가하며, 계산 및 메모리 비용 측면에서 크게 저렴한 비용으로 수행됨을 입증하였다. 코드 및 사전 훈련된 모델은 다음 링크에서 제공된다: https://github.com/caiyuanhao1998/MST/