RGB 이미지로부터 스펙트럼 재구성을 위한 계층적 회귀 네트워크

고분광 카메라를 이용한 시각 이미지 캡처는 좁은 대역 이미징 기술 덕분에 다양한 분야에 성공적으로 적용되어 왔다. RGB 이미지에서 고분광 이미지를 재구성하는 것은 고분광 이미징의 역과정으로, 역응답 함수를 탐색함으로써 이루어진다. 기존의 연구들은 주로 RGB 이미지를 직접 해당 스펙트럼으로 매핑하는 방식을 사용하지만, 맥락 정보를 명시적으로 고려하지 않는다. 또한, 기존 알고리즘에서 인코더-디코더 쌍을 활용하는 방식은 정보 손실을 초래한다. 이러한 문제를 해결하기 위해, 우리는 계층적 상호작용을 위해 PixelShuffle 레이어를 활용한 4단계 계층 회귀 네트워크(HRNet)를 제안한다. 더불어, 실제 RGB 이미지의 아티팩트를 제거하기 위해 잔차 밀집 블록(residual dense block)을 도입하고, 인지 영역을 확장하기 위해 잔차 글로벌 블록(residual global block)을 활용하여 주의 메커니즘을 구축한다. 제안한 HRNet은 NTIRE 2020 고분광 재구성에서 RGB 이미지로부터의 스펙트럼 재구성에 대한 챌린지에 참여하여, 다른 아키텍처 및 기법들과 비교 평가되었다. HRNet은 트랙 2(실제 이미지)에서 우승하며, 트랙 1(청정 이미지)에서는 3위를 기록했다. 코드와 사전 학습 모델을 시도해보고 싶으시면 프로젝트 웹페이지(https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images)를 방문하시기 바랍니다.