잔차 트랜스포머 융합 네트워크를 이용한 소금과 후추 노이즈 제거 이미지 처리

컨볼루셔널 신경망(Convolutional Neural Network, CNN)은 구조화되지 않은 데이터셋, 특히 이미지 노이즈 제거(Image Denoising) 분야에서 널리 사용되고 있다. 이미지 노이즈 제거는 다양한 전략을 통해 노이즈 이미지에서 발생한 부가적 노이즈를 감소시키고 원본 이미지를 재구성하는 과정이다. 그러나 기존의 이미지 노이즈 제거 기법은 노이즈에 대한 사전 지식(prior knowledge)이 필요하다는 한계를 가지고 있다. 이러한 문제를 해결하기 위해, 컨볼루셔널 비전 트랜스포머(Convolutional Vision Transformer, CvT)와 잔차 네트워크(Residual Networks, ResNet)를 결합한 아키텍처인 잔차 트랜스포머 융합 네트워크(Residual Transformer Fusion Network, RTF-Net)가 제안되었다. 일반적으로 이 아키텍처는 두 가지 주요 구성 요소로 나뉜다. 첫 번째는 노이즈 억제 네트워크(Noise Suppression Network, NSN)이며, 여기서 잔차 블록(Residual Block)을 사용하여 이미지 내의 노이즈 맵을 학습한다. 두 번째는 구조 강화 네트워크(Structure Enhancement Network, SEN)로, 이곳에서는 CvT를 활용하여 NSN에서 처리된 이미지에 추가적으로 복원되어야 할 세부 정보를 학습한다. 본 모델은 DIV2K 트레이닝 세트를 활용하여 학습하였으며, 검증은 DIV2K 검증 세트를 사용하였다. 학습 후, 노이즈 수준이 각각 30%, 50%, 70%인 Lena, Bridge, Pepper, BSD300 이미지를 대상으로 테스트를 수행하였으며, DBA, NASNLM, PARIGI, NLSF, NLSF-MLP, NLSF-CNN와의 PSNR 성능을 비교하였다. 실험 결과, 모든 경우에서 제안된 방법이 우수한 성능을 보였으나, Pepper 이미지의 경우 노이즈 수준 30%일 때 NLSF-CNN이 더 우수한 성능을 보였다. 이 경우 NLSF-CNN의 PSNR는 32.99 dB로 측정되었으며, 제안된 방법은 31.70 dB의 PSNR를 기록하였다.