분광 압축 영상용 품질 저하 인지형 언폴딩 하프-셔플 트랜스포머

코딩된 아퍼처 스냅샷 스펙트럴 압축 영상(CASSI) 시스템에서 고분광 영상(HSI) 재구성 방법은 압축된 측정값으로부터 공간-스펙트럴 신호를 복원하는 데 사용된다. 이러한 알고리즘 중에서 딥 언폴딩(deep unfolding) 방법은 유망한 성능을 보이지만, 두 가지 문제점을 내포하고 있다. 첫째, 고도로 연관된 CASSI 환경에서 왜곡 패턴과 불안정성 정도를 추정하지 못해 반복 학습을 안내하지 못한다. 둘째, 주로 CNN 기반으로 구성되어 있어 장거리 의존성을 효과적으로 포착하지 못하는 한계를 지닌다. 본 논문에서는 압축된 이미지와 물리적 마스크로부터 파라미터를 추정한 후, 이를 각 반복 단계에서 제어하는 원리적인 왜곡 인지형 언폴딩 프레임워크(Degradation-Aware Unfolding Framework, DAUF)를 제안한다. 더불어, 국소적 내용과 비국소적 의존성을 동시에 포착할 수 있도록 설계된 새로운 하프-셔플 트랜스포머(Half-Shuffle Transformer, HST)를 도입하였다. HST를 DAUF에 통합함으로써, HSI 재구성에 대한 최초의 트랜스포머 기반 딥 언폴딩 방법인 왜곡 인지형 언폴딩 하프-셔플 트랜스포머(Degradation-Aware Unfolding Half-Shuffle Transformer, DAUHST)를 구축하였다. 실험 결과, DAUHST는 최신 기술을 크게 능가하면서도 더 낮은 계산 및 메모리 비용을 요구함을 확인하였다. 코드 및 모델은 https://github.com/caiyuanhao1998/MST 에 공개될 예정이다.