딥 컨디셔널 HDRI: 듀얼 인코더-디코더 컨디셔닝 방법을 통한 역 톤 매핑

역색조 매핑(Inverse tone mapping)은 단일 저역역(dynamic range, LDR) 이미지로부터 고역역(dynamic range, HDR) 이미지를 복원하는 기술로, 어떤 카메라 장치에도 쉽게 적용 가능하여 매우 유연한 특성을 지닌다. 또한 최근 딥러닝 기술의 발전으로 인해 역색조 매핑 분야에서 뛰어난 성능 향상이 이루어졌다. 그러나 단일 LDR 이미지로부터 광범위한 HDR 이미지를 정확히 복원하는 것은 여전히 도전적인 과제로 남아 있다. 최근 연구에서는 밝기 값(luminance values)으로부터 공간적으로 적응형 노출값(Exposure Value, EV) 조건을 생성하여 가상의 다중 노출 스택(pseudo-multi-exposure stack)을 만드는 시도를 하였다. 그러나 밝기 값만을 입력으로 사용하는 조건 생성 방식은 EV 조건을 생성할 때 입력 이미지의 정보를 정확히 반영하지 못하여 색상 표현이 손실되는 문제가 발생한다. 더불어 EV 조건을 이미지 특징에 어떻게 적용할지에 대한 구체적인 방법에 대한 우려도 존재한다. 이러한 문제를 해결하기 위해 본 연구의 핵심 아이디어는 색상과 밝기 양쪽에 대해 적응 가능한 EV 조건을 생성하기 위해 이미지 특징을 직접 활용하는 것이다. 이를 위해 인코더-디코더 구조를 가진 조건 생성 네트워크를 설계하였으며, 이미지 특징과 EV 조건 기반 특징을 양방향으로 융합하는 새로운 다중 노출 스택 생성 네트워크를 제안한다. 또한 특징 융합 과정에서 특징 정보를 보다 효과적으로 보존하기 위해 공간적 적응형 특징 변환 블록(spatially-adaptive feature transformation block)을 제안한다. 제안한 방법은 HDR 이미지 합성에 필요한 다중 노출 스택 복원에서 뛰어난 성능을 보이며, 기존 방법들에 비해 다중 노출 스택 생성 및 스택 기반 HDR 복원에서 최신 기술 수준(state-of-the-art)의 성능을 달성하였다.