깊은 CNN과 스킵 연결, 네트워크 인 네트워크를 이용한 빠르고 정확한 이미지 초해상도 재생성

우리는 깊은 합성곱 신경망(Deep CNN)을 활용하여 매우 효율적이고 빠른 단일 이미지 초해상화(Single Image Super-Resolution, SISR) 모델을 제안합니다. 최근 연구에서는 Deep CNN이 단일 이미지 초해상화에서 뛰어난 재구성 성능을 보여주고 있습니다. 현재의 경향은 성능 향상을 위해 더 깊은 CNN 층을 사용하는 것입니다. 그러나 깊은 모델은 더 많은 계산 자원을 요구하며, 모바일, 태블릿 및 IoT 기기와 같은 네트워크 엣지 장치에는 적합하지 않습니다.우리의 모델은 Deep CNN, 잔차 네트워크(Residual Net), 스킵 연결(Skip Connection), 그리고 네트워크 인 네트워크(Network in Network, NiN)를 결합한 DCSCN(Deep CNN with Skip Connection and Network in Network) 구조를 통해 최소 10배 낮은 계산 비용으로 최신 수준의 재구성 성능을 달성합니다. Deep CNN과 스킵 연결 층의 조합은 이미지의 지역적 및 전역적 특성을 추출하기 위한 특징 추출기로 사용됩니다. 또한, 정보 손실을 최소화하면서 이전 층의 출력 차원을 줄여 계산 속도를 높이는 네트워크 인 네트워크와 같은 1x1 CNN이 병렬적으로 사용되어 이미지를 직접 처리할 수 있게 합니다.또한 각 CNN의 층과 필터 수를 최적화하여 계산 비용을 크게 줄였습니다. 따라서 제안된 알고리즘은 최신 수준의 성능뿐만 아니라 빠르고 효율적인 계산도 가능하게 합니다. 코드는 https://github.com/jiny2001/dcscn-super-resolution에서 확인할 수 있습니다.