실시간에서 높은 성능의 사진 향상을 위한 이미지 적응형 3D 룩업 테이블 학습

최근 몇 년 동안 사진의 색상과 톤을 개선하기 위한 학습 기반 방법들의 인기가 증가하고 있습니다. 그러나 많은 기존의 사진 향상 방법들은 결과가 만족스럽지 않거나 너무 많은 계산 및 메모리 자원을 소비하여, 실제로 고해상도 이미지(일반적으로 12메가픽셀 이상)에 적용하는 데 어려움이 있습니다. 본 논문에서는 빠르고 견고한 사진 향상을 달성하기 위해 이미지 적응형 3차원 룩업 테이블(3D LUT)을 학습하는 방법을 제안합니다. 3D LUT는 사진의 색상과 톤 조작에 널리 사용되지만, 일반적으로 카메라 영상 처리 파이프라인이나 사진 편집 도구에서 수동으로 조정되고 고정됩니다. 최선의 지식으로서, 우리는 처음으로 주석화된 데이터를 사용하여 쌍 또는 비쌍 학습을 통해 3D LUT를 학습하는 방법을 제안합니다. 더욱 중요한 점은, 우리가 학습한 3D LUT가 유연한 사진 향상을 위해 이미지 적응형이라는 것입니다. 우리는 여러 기본 3D LUT와 작은 컨볼루션 신경망(CNN)을 동시에 엔드-투-엔드 방식으로 학습합니다. 작은 CNN은 입력 이미지의 축소 버전에서 작동하여 내용에 따라 가중치를 예측하고, 이를 통해 여러 기본 3D LUT를 하나의 이미지 적응형 3D LUT로 융합합니다. 이 이미지 적응형 3D LUT는 원본 이미지의 색상과 톤을 효율적으로 변환하는 데 사용됩니다. 우리의 모델은 파라미터 수가 60만 개 미만이며, 하나의 Titan RTX GPU를 사용하여 4K 해상도 이미지를 처리하는 데 2밀리초 미만이 소요됩니다. 매우 효율적인 성능뿐만 아니라, 우리의 모델은 두 가지 공개 벤치마크 데이터셋에서 PSNR, SSIM 및 색차 지표 측면에서 최신의 사진 향상 방법들을 크게 능가합니다.