PCT-Net: 픽셀별 색상 변환을 이용한 전체 해상도 이미지 조화화

본 논문에서는 전체 해상도 이미지에 쉽게 적용할 수 있는 간단하고 일반적인 이미지 통합 방법인 PCT-Net을 제안한다. 주요 아이디어는 다운샘플된 입력 이미지를 사용하여 픽셀 단위 색상 변환(Pixel-wise Color Transforms, PCTs)을 위한 파라미터를 예측하는 파라미터 네트워크를 학습하는 것이다. 이 파라미터는 전체 해상도 이미지의 각 픽셀에 적용된다. 우리는 아핀 색상 변환(Affine Color Transforms)이 효율적이고 효과적임을 보여주며, 최신 기술 수준의 통합 성능을 달성함을 입증한다. 또한 파라미터 네트워크로 CNN과 Transformer를 모두 탐색하였으며, Transformer가 더 우수한 성능을 보임을 확인하였다. 공개된 전체 해상도 iHarmony4 데이터셋(4개의 데이터셋으로 구성됨)을 기반으로 제안한 방법을 평가한 결과, 전경 MSE(fMSE)와 MSE 값이 각각 20% 이상 감소하고 PSNR 값은 1.4dB 증가하면서도 가벼운 아키텍처를 유지함을 보였다. 20명의 사용자로 구성된 사용자 연구를 통해, 제안한 방법이 두 가지 다른 최신 기법보다 더 높은 B-T 점수를 달성함을 입증하였다.