고해상도 스펙트럴 이미지 복원을 위한 거친부터 세밀한 단계로의 희소 트랜스포머

코딩된 아퍼처 스냅샷 스펙트럴 이미징(CASSI)의 역문제를 해결하기 위해 많은 알고리즘이 개발되어 왔으며, 이는 2차원 압축 측정값으로부터 3차원 고분광 이미지(HSI)를 복원하는 것을 목표로 한다. 최근 들어 학습 기반 방법들이 뛰어난 성능을 보이며 주류 연구 방향을 이끌고 있다. 그러나 기존의 CNN 기반 방법들은 장거리 의존성과 비국소적 자기유사성을 효과적으로 포착하지 못하는 한계를 가지고 있다. 이전의 Transformer 기반 방법들은 토큰을 밀집하게 샘플링하여 일부는 정보가 없는 토큰을 포함하고, 콘텐츠상 관련성이 없는 토큰 간에 다중 헤드 자기주의(MSA)를 계산함으로써 HSI 신호의 공간적 희소성 특성과 부합하지 않으며, 모델의 확장성에 제약을 초래한다. 본 논문에서는 HSI 재구성에 깊은 학습을 활용하면서 HSI의 희소성을 처음으로 내재화하는 새로운 Transformer 기반 방법인 조건-부터-세부적 희소 Transformer(CST)를 제안한다. 특히 CST는 제안한 스펙트럼 인지 스크리닝 메커니즘(SASM)을 활용하여 거친 패치를 선택하고, 선택된 패치는 맞춤형 스펙트럼 집계 해싱 다중 헤드 자기주의(SAH-MSA)에 입력되어 세부적인 픽셀 군집화와 자기유사성 포착을 수행한다. 종합적인 실험 결과는 제안한 CST가 최첨단 기법들을 크게 능가하면서도 더 낮은 계산 비용을 요구함을 보여준다. 코드와 모델은 https://github.com/caiyuanhao1998/MST 에 공개될 예정이다.