공간 분리 곡선 렌더링 네트워크를 통한 효율적이고 고해상도 이미지 조화화

이미지 조화화는 특정 배경에 맞춰 합성 영역의 색상 정보를 조정하는 것을 목표로 한다. 기존의 연구들은 UNet 계열 구조를 활용하여 픽셀 단위의 이미지 간 변환 문제로 이 작업을 모델링하였다. 그러나 이러한 모델의 크기와 계산 비용이 크기 때문에 엣지 디바이스 및 고해상도 이미지에서의 적용에 한계가 있었다. 이를 해결하기 위해 본 논문에서는 처음으로 효율적이고 고해상도 이미지 조화화를 위한 새로운 공간 분리 곡선 렌더링 네트워크(S$^2$CRNet)를 제안한다. S$^2$CRNet에서는 먼저 마스킹된 전경과 배경의 축소판에서 공간 분리 임베딩을 각각 추출한다. 이후, 선형 레이어를 사용하여 공간 특화 지식을 학습하고 통합하는 곡선 렌더링 모듈(CRM)을 설계하여 전경 영역 내에서 조각화된 곡선 매핑의 파라미터를 생성한다. 마지막으로, 학습된 색상 곡선을 직접 원본 고해상도 이미지에 적용하여 렌더링한다. 또한, 계단식 정밀화를 위한 Cascaded-CRM과 의미적 안내를 위한 Semantic-CRM 두 가지 확장 방식을 제안하여 프레임워크의 성능을 further 향상시켰다. 실험 결과, 기존 방법 대비 파라미터 수가 90% 이상 감소했음에도 불구하고, 합성된 iHarmony4 및 실제 환경에서의 DIH 테스트 세트에서 최신 기술 수준의 성능을 달성하였다. 더불어, 기존 모든 방법보다 훨씬 낮은 GPU 계산 자원을 사용하여 2048×2048과 같은 고해상도 이미지에 대해 0.1초 내에 원활하게 처리할 수 있다. 코드는 \url{http://github.com/stefanLeong/S2CRNet}에서 공개될 예정이다.