MST++: 효율적인 스펙트럼 재구성 위한 다단계 스펙트럼-지혜 트랜스포머

기존의 스펙트럼 재구성(SR) 방법은 RGB 이미지에서 고광스펙트럼 이미지(HSI)로의 엔드투엔드 매핑을 학습하기 위해 더 깊거나 넓은 컨볼루션 신경망(CNNs)을 설계하는 데 초점을 맞추고 있습니다. 이러한 CNN 기반 방법들은 인상적인 복원 성능을 달성했지만, 장거리 의존성과 자기 유사성을 포착하는 데 한계를 보이고 있습니다. 이 문제를 해결하기 위해, 우리는 효율적인 스펙트럼 재구성을 위한 새로운 트랜스포머 기반 방법인 다단계 스펙트럼별 트랜스포머(MST++)를 제안합니다. 특히, HSI가 공간적으로 희소하지만 스펙트럼적으로 자기 유사한 특성을 활용하여 스펙트럼별 멀티헤드 셀프어텐션(S-MSA)을 사용하여 기본 단위인 스펙트럼별 어텐션 블록(SAB)을 구성합니다. 그런 다음 SABs는 U형 구조를 이용하여 다중 해상도 맥락 정보를 추출하는 단일 단계 스펙트럼별 트랜스포머(SST)를 구성합니다. 마지막으로, 여러 개의 SST가 연결된 우리의 MST++는 거칠게부터 세밀하게 점진적으로 재구성 품질을 개선합니다. 포괄적인 실험 결과, 우리의 MST++는 다른 최신 방법들보다 크게 우수한 것으로 나타났습니다. NTIRE 2022 스펙트럼 재구성 챌린지에서 우리의 접근 방식은 1등을 차지했습니다. 코드와 사전 학습된 모델은 https://github.com/caiyuanhao1998/MST-plus-plus에서 공개적으로 이용할 수 있습니다.