Snapshot 압축 영상에 대한 이중 사전 전개

최근 깊이 전개(deep unfolding) 기법은 스�napshot 압축 영상(Snapshot Compressive Imaging, SCI) 재구성 분야에서 뛰어난 성과를 거두고 있다. 그러나 기존의 방법들은 모두 단일 이미지 사전(prior) 기반의 반복적 프레임워크를 따르고 있어, 전개 기법의 효율성을 제한하고 있으며, 다른 사전을 간편하고 효과적으로 활용하는 데 어려움이 있다. 이러한 한계를 극복하기 위해 우리는 다중 깊이 사전을 공동 활용할 수 있는 효과적인 이중 사전 전개(Dual Prior Unfolding, DPU)를 제안한다. 이는 반복 효율성을 크게 향상시킨다. 본 전개 방법은 이중 사전 프레임워크(Dual Prior Framework, DPF)와 집중적 주의(Focused Attention, FA)로 구성된다. 구체적으로, 일반적인 이미지 사전 외에 DPF는 반복 공식에 잔차(residual)를 도입하고, 다양한 왜곡(degradation)을 고려하여 잔차에 대한 저화질 사전을 구성함으로써 전개 프레임워크를 설계한다. 또한, 자기 주의(self-attention) 기반의 이미지 사전의 효과를 높이기 위해 FA는 PCA 노이즈 제거 기법에서 영감을 받아 새로운 메커니즘을 도입하여 주의 메커니즘의 스케일링과 필터링을 수행함으로써, 낮은 계산 비용으로도 유의미한 특징에 더 집중할 수 있도록 한다. 더불어, 계층적 자기 주의의 효율성을进一步 향상시키기 위해 비대칭 백본(asymmetric backbone)을 제안한다. 특히, 5단계 DPU는 기존 방법들에 비해 가장 적은 FLOPs와 파라미터 수로 최신 기준(SOTA) 성능을 달성하였으며, 9단계 DPU는 더 낮은 계산 요구량으로도 다른 전개 기법들을 압도적으로 능가한다.