DCCF: 고해상도 이미지 조화화를 위한 심층 이해 가능한 컬러 필터 학습 프레임워크

이미지 색조 조화 알고리즘은 서로 다른 조건에서 촬영된 전경과 배경 이미지 간의 색조 분포를 자동으로 일치시키는 것을 목표로 한다. 기존의 딥러닝 기반 모델들은 실용적 응용에 있어 핵심적인 두 가지 문제, 즉 고해상도(HR) 이미지 처리와 모델의 해석 가능성(모델의 이해 가능성)을 간과해왔다. 본 논문에서는 고해상도 이미지 조화를 위한 새로운 ‘심층 해석 가능한 색조 필터(Depth Comprehensible Color Filter, DCCF)’ 학습 프레임워크를 제안한다. 구체적으로 DCCF는 원본 입력 이미지를 저해상도(LR) 버전으로 사전 다운샘플링한 후, 엔드 투 엔드 방식으로 인간이 이해하기 쉬운 네 가지 신경 필터(즉, 색조(Hue), 채도(Saturation), 명도(Value), 그리고 주의 집중 렌더링(Attentive Rendering) 필터)를 학습한다. 이후 이들 필터를 원본 입력 이미지에 적용하여 조화된 결과를 도출한다. 해석 가능한 신경 필터의 특성 덕분에, 필요 시 사용자가 깊은 모델과 간단하고 효율적으로 협업하여 매우 적은 노력으로 원하는 결과를 얻을 수 있다. 광범위한 실험을 통해 DCCF 학습 프레임워크의 효과성을 입증하였으며, iHarmony4 데이터셋에서 고해상도 이미지에 대해 기존 최고 성능(post-processing) 방법 대비 MSE 기준 7.63%, PSNR 기준 1.69%의 상대적 개선을 달성하였다.