4D LUT: 이미지 증강을 위한 학습 가능한 컨텍스트 인지형 4D 룩업 테이블

이미지 강조는 색상과 톤을 보정함으로써 사진의 미적 시각적 품질을 향상시키는 기술로, 전문 디지털 사진 촬영 분야에서 필수적인 기술이다. 최근 몇 년간 딥러닝 기반의 이미지 강조 알고리즘이 뛰어난 성능을 달성하며 점차 더 많은 관심을 받고 있다. 그러나 기존의 대다수 연구들은 모든 픽셀의 색상 변환을 위한 통일된 강조기(enhancer)를 구축하는 데 집중하며, 사진 내 다양한 콘텐츠(예: 하늘, 바다 등) 간의 픽셀 차이를 무시하고 있다. 이로 인해 만족스럽지 못한 결과가 발생한다. 본 논문에서는 각 이미지 내 다양한 콘텐츠에 따라 차별화된 강조를 가능하게 하는 새로운 학습 가능한 컨텍스트 인식 4차원 룩업테이블(4D LUT)을 제안한다. 이는 이미지 컨텍스트를 적응적으로 학습함으로써 각 콘텐츠에 따라 색상 변환을 조절하는 방식으로 작동한다. 구체적으로, 먼저 픽셀 수준의 카테고리 정보를 추출하기 위한 경량 컨텍스트 인코더와 이미지에 적응하는 계수들을 학습하는 파라미터 인코더를 도입한다. 이후, 학습된 계수를 이용해 여러 기저 4D LUT들을 통합하여 컨텍스트 인식형 4D LUT을 생성한다. 마지막으로, 원본 이미지와 컨텍스트 맵을 함께 입력하여 4차원 보간(사분선형 보간, quadrilinear interpolation)을 통해 융합된 컨텍스트 인식형 4D LUT을 활용해 강조된 이미지를 생성한다. 기존의 3D LUT(즉, RGB → RGB 매핑)은 일반적으로 카메라 이미징 파이프라인 시스템이나 도구에서 사용되지만, 본 연구에서 제안하는 4D LUT(즉, RGBC(RGB + 컨텍스트) → RGB 매핑)는 동일한 RGB 값을 가진 픽셀이라도 콘텐츠에 따라 세밀한 색상 변환 조절이 가능하다. 실험 결과, 제안한 방법이 널리 사용되는 벤치마크에서 기존 최고 성능의 기법들을 모두 상회함을 입증하였다.