경량 스테레오 이미지 초해상도를 위한 최적의 조합 패턴 학습

스테레오 이미지 초해상도 복원(stereoSR)은 다른 시점에서 제공하는 보조 정보를 활용하여 초해상도의 품질을 향상시키는 것을 목표로 한다. 기존의 대부분의 접근 방식은 모듈 설계를 정교화하고, 정보를 추출하고 통합하기 위해 거대한 네트워크 블록을 반복적으로 쌓는 데 집중하고 있다. 비록 이러한 기법들을 통해 성능이 향상되었지만, 메모리 및 계산 비용도 함께 증가하는 문제가 존재한다. 이 문제를 해결하기 위해, 우리는 네트워크 블록의 최적 조합 패턴을 자율적으로 학습할 수 있는 격자 구조(lattice structure)를 제안한다. 이는 특징 표현을 효율적이고 정밀하게 획득함으로써 경량화된 스테레오SR을 실현한다. 구체적으로, 격자 위상 보정기(lattice phase equalizer)의 아이디어를 차용하여, 쌍으로 연결된 NAFBlock 간을 결합하기 위해 재가중 블록(RWBlock)을 사용하는 쌍방향 나비 모양의 위상 구조를 가진 격자 스테레오 NAFBlock(LSNB)을 설계하였다. RWBlock은 특징의 적응적 재가중을 통해 LSNB가 쌍으로 구성된 NAFBlock의 다양한 조합 패턴을 탐색할 수 있는 능력을 부여한다. 또한, 다른 시점에서 가장 관련성이 높은 특징을 탐색하고 전달하기 위해 격자 스테레오 주의 모듈(LSAM)을 제안한다. 최종적으로, 서로 밀접하게 연결된 구조를 갖는 LSSR(Lattice Stereo Super-Resolution) 아키텍처를 구성하였으며, 광범위한 실험을 통해 제안한 방법이 최신 기술 대비 경쟁력 있는 성능을 보임을 입증하였다.