전이 학습과 PSRGAN을 이용한 적외선 이미지 슈퍼해상도

최근 단일 이미지 초해상도 증강(SISR) 분야의 기술 발전은 깊은 학습(deep learning)이 더 우수한 성능을 달성하는 데 있어 강력한 능력을 보여주고 있다. 적외선(IR) 이미지 초해상도 증강을 위한 학습 데이터 재수집 및 모델 재학습은 매우 비용이 크므로, IR 이미지 복원을 위해 사용 가능한 샘플이 극히 적은 상황은 SISR 분야에서 중요한 과제로 남아 있다. 본 연구에서는 이러한 문제를 해결하기 위해, 메인 경로와 브랜치 경로를 포함하는 점진적 초해상도 생성적 적대망(PSRGAN)을 제안한다. 메인 경로에서는 깊이 분리형 잔차 블록(DWRB)을 사용하여 IR 이미지의 특징을 표현한다. 반면, 다른 경로에서는 쉽게 확보 가능한 가시광선 이미지의 특징을 추출하기 위해 새로운 얕은 가벼운 정제 잔차 블록(SLDRB)을 도입한다. 또한 전이 학습(transfer learning)의 아이디어를 영감으로 삼아, 서로 다른 고차원 특징 공간 간의 격차를 극복할 수 있는 다단계 전이 학습 전략을 제안한다. 이는 PSRGAN의 성능을 향상시키는 데 기여한다. 마지막으로, 두 개의 공개 데이터셋을 대상으로 한 정량적 및 정성적 평가 결과를 통해, 기존의 초해상도 증강 기법 대비 PSRGAN이 더 우수한 성능을 달성함을 확인할 수 있었다.