엔드투엔드 저비용 압축 스펙트럴 영상 촬영을 위한 공간-스펙트럴 자체주의(Self-Attention) 기법

코딩된 아퍼처 스냅샷 스펙트럴 영상(Coded Aperture Snapshot Spectral Imaging, CASSI)은 실제 세계의 3차원 하이퍼스펙트럴 이미지를 캡처하는 효과적인 도구이다. 기존의 하드웨어 및 알고리즘 설계에 대한 다수의 연구가 진행되었음에도 불구하고, 영상 속도에서 고품질 재구성 성능을 동시에 달성하는 저비용 솔루션을 향한 도전적인 접근을 시도한다. 이 어려우나 여전히 충분히 탐색되지 않은 과제에서 본질적인 진전을 이루기 위해, 우리는 대규모 실세계 CASSI 데이터를 수집하기 위해 안정적인 단일 분산기(Single Disperser, SD) CASSI 시스템을 재현하고, 자기 주목(self-attention)을 활용하여 실시간 재구성을 수행할 수 있는 새로운 딥 컨볼루션 네트워크를 제안한다. 하이퍼스펙트럴 이미지의 다양한 차원(채널별 스펙트럴 상관관계 및 비국소적 공간 영역) 간의 자기 주목을 공동으로 포착하기 위해, 차원별로 순차적으로 처리하되 순서에 의존하지 않는 방식으로 공간-스펙트럴 자기 주목(Spatial-Spectral Self-Attention, TSA)을 제안한다. 본 연구에서는 TSA를 인코더-디코더 구조의 네트워크에 도입하여, 원하는 3차원 큐브를 재구성하는 TSA-Net을 설계하였다. 또한 노이즈가 재구성 결과에 미치는 영향을 분석하고, 모델 훈련 시 샷 노이즈(shot noise)를 추가함으로써 실제 데이터에서의 성능을 크게 향상시켰다. 본 연구에서 확보한 대규모 CASSI 데이터가 향후 연구에서의 기준 데이터셋으로 활용되길 기대하며, TSA 모델이 딥러닝 기반 재구성 알고리즘의 기준 모델로 자리매김하기를 희망한다.